Что такое robots.txt

Robots.txt - это текстовый файл, который обычно расположен на сайте по адресу: vash_site.ru/robots.txt. Этот файл носит технический характер и предназначен для управления параметрами индексирования сайта поисковыми роботами.  Общие правила обработки robots.txt, изложены на сайтах:

//www.robotstxt.org/orig.html

Обновлено 7 февраля 2021 г.
Была ли эта информация полезной?