Правила создания robots.txt

Была ли эта информация полезной?