Piks [Off] [#] (24.07.2008 / 17:11)

Бот приходя на сайт ф первую очередь запрашивает robots.txt. Если его нету, то он просто по фсем ссылкам начинает ходить. И врятли ты того робота заставишь посмотреть robots.txt еще раз, надо будет ждать следующего визита