Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
 
Главная Индексация сайтов Mail.Ru Использование robots.txt Правила создания robots.txt Формат файла robots.txt

Формат файла robots.txt

Чтобы создать файл, управляющий индексированием вашего сайта, воспользуйтесь любым текстовым редактором. Заполните файл в соответствии с представленными ниже правилами и сохраните его с именем robots.txt в корневой каталог вашего сайта.

Робот поисковой системы Mail.Ru придерживается общих правил обработки robots.txt.

Для каждой сессии робот определяет список урлов, которые планирует скачать с сайта. В начале сессии робот получает документ по URL /robots.txt для определения ограничений на сайте. Если HTTP-код ответа сервера на URL не '200', либо формат полученных данных нарушен, а также в случае превышения файлом допустимого размера в 100кб считается, что робот не имеет ограничений для данного сайта.

Файл должен содержать одну или несколько записей (records), разделенных одной или несколькими пустыми строками (оканчивающимися CR, CR/NL или NL).

Каждая запись должна содержать строки (lines) в форме:

<поле>: <значение> <# optional comment>

Наименование поля является регистронезависимым.

Запись должна начинаться с одной или нескольких строк User-agent. Следом должна быть одна или несколько строк с директивами, формат которых приведен ниже. Для каждой записи обязательна строка с директивой Disallow.

Была ли эта информация полезной?

Что именно у вас не получилось?

Спасибо за ответ!
Не удалось принять сообщение, попробуйте позже.