Директива Crawl-delay

Директива задает задержку (в секундах) между двумя последовательными запросами документов сайта. Допускается использовать дробные числа (0.1 и т.п). Для поддержания формата файла robots.txt директива должна идти внутри записи, начинающейся с User-agent.

Пример:

User-agent: *
Disallow:  # обязательная для каждой записи строка с директивой Disallow
Crawl-delay: 4.5  # задает паузу в 4.5 секунды
Обновлено 15 февраля 2021 г.
Была ли эта информация полезной?