Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
Директива User-agent

Эта директива используется для привязки записи к определенному роботу. Робот Mail.Ru использует только записи с 'User-agent: Mail.Ru' и 'User-agent: *' (* = все роботы). Причем  запись с 'User-agent: Mail.Ru' имеет приоритет перед записью 'User-agent: *'. Таким образом, если даны указания и роботу Mail.Ru, и общие для всех роботов, то будут использованы первые. Если не заданы ни та, ни другая записи, то считается, что робот не имеет ограничений для данного сайта.