Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
 
Главная Индексация сайтов Mail.Ru Использование robots.txt Правила создания robots.txt Директива Crawl-delay

Директива Crawl-delay

Директива задает задержку (в секундах) между двумя последовательными запросами документов сайта. Допускается использовать дробные числа (0.1 и т.п). Для поддержания формата файла robots.txt директива должна идти внутри записи, начинающейся с User-agent.

Пример:

User-agent: *
Disallow:  # обязательная для каждой записи строка с директивой Disallow
Crawl-delay: 4.5  # задает паузу в 4.5 секунды

Была ли эта информация полезной?

Что именно у вас не получилось?

Спасибо за ответ!
Не удалось принять сообщение, попробуйте позже.