Mail.RuПочтаМой МирОдноклассникиИгрыЗнакомстваНовостиПоискВсе проекты
Структура сайта

Структура сайта представляет из себя древовидный каталог страниц сайта, загруженных роботом. Вложенность директорий ограничена тремя уровнями.

Убедитесь, что робот загружает именно те страницы сайта, которые вы считаете интересными для своих пользователей. Запретить загрузку страниц из определённых разделов сайта можно при помощи файла robots.txt.