Формат файла robots.txt

Чтобы создать файл, управляющий индексированием вашего сайта, воспользуйтесь любым текстовым редактором. Заполните файл в соответствии с представленными ниже правилами и сохраните его с именем robots.txt в корневой каталог вашего сайта.

Робот поисковой системы Mail.ru придерживается общих правил обработки robots.txt.

Для каждой сессии робот определяет список урлов, которые планирует скачать с сайта. В начале сессии робот получает документ по URL /robots.txt для определения ограничений на сайте. Если HTTP-код ответа сервера на URL не '200', либо формат полученных данных нарушен, а также в случае превышения файлом допустимого размера в 100кб считается, что робот не имеет ограничений для данного сайта.

Файл должен содержать одну или несколько записей (records), разделенных одной или несколькими пустыми строками (оканчивающимися CR, CR/NL или NL).

Каждая запись должна содержать строки (lines) в форме:

<поле>: <значение> <# optional comment>

Наименование поля является регистронезависимым.

Запись должна начинаться с одной или нескольких строк User-agent. Следом должна быть одна или несколько строк с директивами, формат которых приведен ниже. Для каждой записи обязательна строка с директивой Disallow.

Обновлено 15 февраля 2021 г.
Была ли эта информация полезной?