Как проверить, что робот от go.mail.ru

Для того чтобы проверить, что робот действительно принадлежит Mail.ru, необходимо выполнить следующее:

1. По логам веб-сервера найдите ip-адрес для интересующего вас user-agent.

2. Затем, сделав обратный dns-запрос для данного ip-адреса (например, команда host в *nix-системах) можно определить его хост. Все имена хостов, с которых выполняют запросы наши роботы, оканчиваются на mail.ru.

В случае несовпадения хоста это может значить, что этот робот использует поддельный user-agent и не принадлежит Mail.ru.

Обновлено 7 февраля 2021 г.
Была ли эта информация полезной?