Поисковая оптимизация

Индексирование сайта в поисковых системах

Файл robots.txt

Файл sitemap.xml

Мета-теги

Закрыть сайт или страницу от индексации

301 редирект

Каноническая ссылка


Индексирование сайта в поисковых системах

У разных поисковых систем разная скорость индексации и ранжирование в результатах выдачи. Например, в поиске Google сайт появляется через несколько дней, а в поиске Яндекса на это требуется больше времени. На полную индексацию сайта уходит примерно месяц. Чтобы ускорить индексацию в поисковиках, добавьте сайт в вебмастер Яндекса и Google, а также добавьте карту вашего сайта в панели вебмастеров.

Используйте оператор запроса site:, чтобы проверить страницы сайта, попадающие в поиск. Для этого в поисковой строке введите site:имя-сайта. Чтобы проверить индексацию конкретной страницы, введите site:имя-сайта/страница-сайта.

Файл robots.txt

Файл robots.txt генерируется автоматически и доступен по адресу: http://имя-сайта/robots.txt. Файл содержит следующие директивы:

  • User-Agent: *. Описанные настройки действуют для всех поисковых роботов.
  • Allow и Disallow. По умолчанию поисковыми системами будут индексироваться все страницы вашего сайта. Вы можете закрыть некоторые страницы от индексации.
  • Sitemap. Показывает поисковым системам, по какому адресу можно найти карту сайта файл — sitemap.xml. Файл генерируется автоматически.

Редактирование файла robots.txt вручную невозможно. Изменения добавляются в него автоматически при редактировании страниц сайта. Например, если вы закроете от индексирования страницу контактов, то в файл robots.txt автоматически добавить запись Disallow: / contacts$.

Для Яндекса больше не нужно размещать директиву Host. Её заменяет 301 редирект, который настраивается автоматически.

Файл sitemap.xml

Файл sitemap.xml генерируется автоматически и доступен по адресу: http(s)://имя-сайта/sitemap.xml. В него попадают все страницы вашего сайта.

При добавлении карты сайта в Google Search Console указывайте имя файла sitemap.xml (без символа / (слеш) и адреса сайта). В Яндекс.Вебмастере указывайте полный адрес файла.

Мета-теги

Meтa-теги помогают настроить отображение вашего сайта в социальных сетях и поисковой выдаче. Чтобы настроить мета-теги по конкретной странице, перейдите в раздел «Страницы сайта» и напротив нужной страницы нажмите на значок настроек.

image

Откройте вкладку «SEO» и заполните мета-теги:

  • Title — краткий заголовок страницы, максимум 70 символов. Если не заполнить этот мета-тег, будет использоваться название страницы. 
  • Description — краткое описание содержимого страницы, максимум 150 символов.
  • Keywords — добавьте ключевые слова через запятую (не менее двух и не более пяти ключевых слов).

Закрыть сайт или страницу от индексации 

Чтобы закрыть от индексирования весь сайт, перейдите в раздел «Настройки» и на вкладке «SEO настройки» активируйте опцию «Запретить индексировать сайт».

image

Чтобы закрыть от индексации конкретную страницу сайта, в режиме конструктора перейдите в раздел «Страницы сайта» и нажмите на  значок настроек напротив нужный страницы. Затем выберите вкладку «SEO» и активируйте опцию «Запретить индексирование страницы».

image

Невозможно закрыть от индексации главную страницу сайта, оставив индексируемыми другие страницы сайта. Главная страница не будет индексироваться, только если весь сайт закрыт от индексации.

301 редирект

301 редирект — постоянная переадресация с одного URL-адреса на другой. При запросе одной страницы (устаревшей) посетитель сайта или поисковый робот будут перенаправлены на другую страницу сайта (актуальную). 301 редирект используется в следующих ситуациях:

  • необходимо изменить URL страницы;
  • страницы дублируются и необходимо оставить только один из дублей;
  • при переезде сайта с одного доменного имени на другое;
  • перенаправление на сайт при введении с www и без www;

Чтобы настроить 301 редирект, перейдите в раздел «Настройки» и откройте вкладку «301 редирект»:

image

Укажите адрес старой страницы, новой страницы и сохраните изменения. Постепенно старые URL-адресы заменятся в поисковой выдаче на новые.

Каноническая ссылка

Если есть страницы с одинаковым содержимым (URL-адреса разные), то с помощью канонической ссылки можно указать главную страницу. Эта страница будет приоритетной и будет индексироваться поисковыми системами. Вес со страниц-дубликатов будет перенесен на основную страницу.

В каких случаях полезна каноническая ссылка:

  • Для продвижения сайта используются почтовые рассылки, рекламные объявления, в том числе с UTM-метками.
  • Используются внешние решения, которые устанавливают параметры для адресов страниц.

В других случаях лучше использовать 301 редирект.

Чтобы включить канонические ссылки, перейдите в раздел «Настройки» и на вкладке «SEO настройки» активируйте опцию «Каноническая ссылка на страницы».

image


См. также статью