Что такое robots.txt
Robots.txt - это текстовый файл, который обычно расположен на сайте по адресу: vash_site.ru/robots.txt. Этот файл носит технический характер и предназначен для управления параметрами индексирования сайта поисковыми роботами. Общие правила обработки robots.txt, изложены на сайтах:
Обновлено 7 февраля 2021 г.
Была ли эта информация полезной?