Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
 
Главная Индексация сайтов Mail.Ru Использование robots.txt Правила создания robots.txt Директива Disallow

Директива Disallow

Директива используется для запрета скачивания роботом части сайта или сайта целиком. Значением в данной строке является частичный URL. Примеры:

User-agent: Mail.RU_Bot
Disallow: /       # блокирует доступ ко всему сайту
User-agent: Mail.Ru
Disallow: /search # блокирует доступ к страницам начинающимся с '/search', /search.html, /search/something, и т.п.
                  # к остальным разделам сайта доступ открыт
User-agent: *
Disallow:         # доступ разрешен ко всему сайту,
                  # равноценно отсутствию robots.txt

Была ли эта информация полезной?

Что именно у вас не получилось?

Спасибо за ответ!
Не удалось принять сообщение, попробуйте позже.