Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
 
Главная Индексация сайтов Mail.Ru Использование robots.txt Правила создания robots.txt Директива Allow

Директива Allow

Директива используется для разрешения частей сайта, запрещенных в этой же записи robots.txt с помощью Disallow. Если для рассматриваемого URL подходит и директива Disallow, и директива Allow, то из них выбирается наиболее длинная (более точное совпадение), при этом порядок их вхождения в запись не важен.

Пример:

User-agent: Mail.RU_Bot
Disallow:    /cgi-bin
Disallow:    /add
Allow:       /add/top
Disallow:    /add/top/private # '/' доступ открыт

# '/cgi-bin/private_script.pl' доступ заблокирован
# '/add/counter.pl' доступ заблокирован
# '/add/top/public_script.pl'  доступ открыт
# '/add/top/private_script.pl'  доступ заблокирован

Была ли эта информация полезной?

Что именно у вас не получилось?

Спасибо за ответ!
Не удалось принять сообщение, попробуйте позже.