Директива Host
Директивой можно указать роботу главный сайт, в том случае если вы используете сайты-зеркала. Значением в данной строке выступает доменное имя. Для поддержания формата файла robots.txt директива должна идти внутри записи, начинающейся с User-agent.
Пример:
User-agent: *
Disallow: # обязательная для каждой записи строка с директивой Disallow
Host: www.main_host.ru
Disallow: # обязательная для каждой записи строка с директивой Disallow
Host: www.main_host.ru
Обновлено 15 февраля 2021 г.
Was this information helpful?