Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
 
Главная Индексация сайтов Mail.Ru Использование robots.txt Правила создания robots.txt Директива User-agent

Директива User-agent

Эта директива используется для привязки записи к определенному роботу. Робот Mail.Ru использует только записи с 'User-agent: Mail.Ru' и 'User-agent: *' (* = все роботы). Причем  запись с 'User-agent: Mail.Ru' имеет приоритет перед записью 'User-agent: *'. Таким образом, если даны указания и роботу Mail.Ru, и общие для всех роботов, то будут использованы первые. Если не заданы ни та, ни другая записи, то считается, что робот не имеет ограничений для данного сайта.

Была ли эта информация полезной?

Что именно у вас не получилось?

Спасибо за ответ!
Не удалось принять сообщение, попробуйте позже.