Использование robots.txt

Была ли эта информация полезной?