Если бот уже индексирует сайт и я установлю robots.txt он пример указания или же дальше продолжит индексацию? И правильно ли закрывать доступ к определенным файлам чтоб бот не ходил по этим ссылкам Disallow: /papka/file.php
Disallow: /papka/file2.php и так далее?