Директива Crawl-delay
Директива задает задержку (в секундах) между двумя последовательными запросами документов сайта. Допускается использовать дробные числа (0.1 и т.п). Для поддержания формата файла robots.txt директива должна идти внутри записи, начинающейся с User-agent.
Пример:
User-agent: *
Disallow: # обязательная для каждой записи строка с директивой Disallow
Crawl-delay: 4.5 # задает паузу в 4.5 секунды
Disallow: # обязательная для каждой записи строка с директивой Disallow
Crawl-delay: 4.5 # задает паузу в 4.5 секунды
Was this information helpful?
