Настраиваем интервал индексации сайта
Добавлено: 04 фев 2009, 13:43
файл robots.txt и внутри него пишем:
Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта.
- Код: Выделить всё • Развернуть
User-agent: *
Crawl-delay: 10
Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта.