Директива Disallow

Директива используется для запрета скачивания роботом части сайта или сайта целиком. Значением в данной строке является частичный URL. Примеры:

User-agent: Mail.RU_Bot
Disallow: /       # блокирует доступ ко всему сайту
User-agent: Mail.Ru
Disallow: /search # блокирует доступ к страницам начинающимся с '/search', /search.html, /search/something, и т.п.
                  # к остальным разделам сайта доступ открыт
User-agent: *
Disallow:         # доступ разрешен ко всему сайту,
                  # равноценно отсутствию robots.txt
Обновлено 15 февраля 2021 г.
Was this information helpful?