Как сделать так, чтобы робот проиндексировал быстрее
Несколько советов, следуя которым можно ускорить попадание страниц в поисковый индекс:
1. Создайте файл Sitemap (или несколько файлов, если у вас большой сайт), который содержит список урлов страниц, необходимых для индексации. Не забывайте его обновлять!
2. Создайте страницу с картой сайта. На ней можно разместить ссылки на все важные страницы вашего сайта.
3. Используйте robots.txt. С помощью него можно запретить индексацию отдельных страниц и разделов сайта, указать основной хост сайта (для исключения индексации зеркал), установить временную задержку при обращении к страницам сайта.
4. Настройте сервер на отдачу корректных HTTP-заголовков ответов в случае ошибки. Например, если страница не существует, то стоит отдавать ошибку 404.
Обновлено 15 февраля 2021 г.
Was this information helpful?