Директива Disallow
Директива используется для запрета скачивания роботом части сайта или сайта целиком. Значением в данной строке является частичный URL. Примеры:
User-agent: Mail.RU_Bot
Disallow: / # блокирует доступ ко всему сайту
User-agent: Mail.Ru
Disallow: /search # блокирует доступ к страницам начинающимся с '/search', /search.html, /search/something, и т.п.
# к остальным разделам сайта доступ открыт
User-agent: *
Disallow: # доступ разрешен ко всему сайту,
# равноценно отсутствию robots.txt
Disallow: / # блокирует доступ ко всему сайту
User-agent: Mail.Ru
Disallow: /search # блокирует доступ к страницам начинающимся с '/search', /search.html, /search/something, и т.п.
# к остальным разделам сайта доступ открыт
User-agent: *
Disallow: # доступ разрешен ко всему сайту,
# равноценно отсутствию robots.txt
Обновлено 15 февраля 2021 г.
Was this information helpful?