Директива Allow

Директива используется для разрешения частей сайта, запрещенных в этой же записи robots.txt с помощью Disallow. Если для рассматриваемого URL подходит и директива Disallow, и директива Allow, то из них выбирается наиболее длинная (более точное совпадение), при этом порядок их вхождения в запись не важен.

Пример:

User-agent: Mail.RU_Bot
Disallow:    /cgi-bin
Disallow:    /add
Allow:       /add/top
Disallow:    /add/top/private # '/' доступ открыт

# '/cgi-bin/private_script.pl' доступ заблокирован
# '/add/counter.pl' доступ заблокирован
# '/add/top/public_script.pl'  доступ открыт
# '/add/top/private_script.pl'  доступ заблокирован
Обновлено 15 февраля 2021 г.
Была ли эта информация полезной?