Настраиваем интервал индексации сайта

Настраиваем интервал индексации сайта

Сообщение Костик » 04 фев 2009, 13:43

файл robots.txt и внутри него пишем:
Код: Выделить всёРазвернуть
User-agent: *
Crawl-delay: 10


Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта.
FreeBSD 9.2 and Fedora 18 user
Аватара пользователя
Костик
Активный участник
 
Сообщения: 1944
Зарегистрирован: 03 сен 2007, 02:15

Re: Настраиваем интервал индексации сайта

Сообщение On-line » 06 дек 2015, 18:49

для чего эта пауза нужна?


Последний раз поднималось Костик 06 дек 2015, 18:49.
Аватара пользователя
On-line
Активный участник
 
Сообщения: 1083
Зарегистрирован: 31 окт 2008, 23:54
Домен: http://vbalashove.ru


Вернуться в Полный Интернет

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 7

cron