Директива Allow
Директива используется для разрешения частей сайта, запрещенных в этой же записи robots.txt с помощью Disallow. Если для рассматриваемого URL подходит и директива Disallow, и директива Allow, то из них выбирается наиболее длинная (более точное совпадение), при этом порядок их вхождения в запись не важен.
Пример:
User-agent: Mail.RU_Bot
Disallow: /cgi-bin
Disallow: /add
Allow: /add/top
Disallow: /add/top/private # '/' доступ открыт
# '/cgi-bin/private_script.pl' доступ заблокирован
# '/add/counter.pl' доступ заблокирован
# '/add/top/public_script.pl' доступ открыт
# '/add/top/private_script.pl' доступ заблокирован
Disallow: /cgi-bin
Disallow: /add
Allow: /add/top
Disallow: /add/top/private # '/' доступ открыт
# '/cgi-bin/private_script.pl' доступ заблокирован
# '/add/counter.pl' доступ заблокирован
# '/add/top/public_script.pl' доступ открыт
# '/add/top/private_script.pl' доступ заблокирован
Обновлено 15 февраля 2021 г.
Was this information helpful?