Директива User-agent

Эта директива используется для привязки записи к определенному роботу. Робот Mail.ru использует только записи с 'User-agent: Mail.Ru' и 'User-agent: *' (* = все роботы). Причем  запись с 'User-agent: Mail.Ru' имеет приоритет перед записью 'User-agent: *'. Таким образом, если даны указания и роботу Mail.ru, и общие для всех роботов, то будут использованы первые. Если не заданы ни та, ни другая записи, то считается, что робот не имеет ограничений для данного сайта.

Обновлено 7 февраля 2021 г.
Была ли эта информация полезной?