Страница 1 из 1

Настраиваем интервал индексации сайта

СообщениеДобавлено: 04 фев 2009, 13:43
Костик
файл robots.txt и внутри него пишем:
Код: Выделить всёРазвернуть
User-agent: *
Crawl-delay: 10


Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта.

Re: Настраиваем интервал индексации сайта

СообщениеДобавлено: 06 дек 2015, 18:49
On-line
для чего эта пауза нужна?