- Код: Выделить всё • Развернуть
User-agent: *
Crawl-delay: 10
Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта.