Индексирование сайта в поисковых системах
Закрыть сайт или страницу от индексации
Индексирование сайта в поисковых системах
У разных поисковых систем разная скорость индексации и ранжирование в результатах выдачи. Например, в поиске Google сайт появляется через несколько дней, а в поиске Яндекса на это требуется больше времени. На полную индексацию сайта уходит примерно месяц. Чтобы ускорить индексацию в поисковиках, добавьте сайт в вебмастер Яндекса и Google, а также добавьте карту вашего сайта в панели вебмастеров.
Используйте оператор запроса site:, чтобы проверить страницы сайта, попадающие в поиск. Для этого в поисковой строке введите site:имя-сайта. Чтобы
Файл robots.txt
Файл robots.txt генерируется автоматически и доступен по адресу: http://имя-сайта/robots.txt. Файл содержит следующие директивы:
- User-Agent: *. Описанные настройки действуют для всех поисковых роботов.
- Allow и Disallow. По умолчанию поисковыми системами будут индексироваться все страницы вашего сайта. Вы можете закрыть некоторые страницы от индексации.
- Sitemap. Показывает поисковым системам, по какому адресу можно найти карту сайта файл — sitemap.xml. Файл генерируется автоматически.
Редактирование файла robots.txt вручную невозможно. Изменения добавляются в него автоматически при редактировании страниц сайта. Например, если вы закроете от индексирования страницу контактов, то в файл robots.txt автоматически добавить запись Disallow: / contacts$.
Для Яндекса больше не нужно размещать директиву Host. Её заменяет 301 редирект, который настраивается автоматически.
Файл sitemap.xml
Файл sitemap.xml генерируется автоматически и доступен по адресу: http(s)://имя-сайта/sitemap.xml. В него попадают все страницы вашего сайта.
При добавлении карты сайта в Google Search Console указывайте имя файла sitemap.xml (без символа / (слеш) и адреса сайта). В Яндекс.Вебмастере указывайте полный адрес файла.
Мета-теги
Meтa-теги помогают настроить отображение вашего сайта в социальных сетях и поисковой выдаче. Чтобы настроить мета-теги по конкретной странице, перейдите в раздел «Страницы сайта» и напротив нужной страницы нажмите на значок настроек.
Откройте вкладку «SEO» и заполните мета-теги:
- Title — краткий заголовок страницы, максимум 70 символов. Если не заполнить этот мета-тег, будет использоваться название страницы.
- Description — краткое описание содержимого страницы, максимум 150 символов.
- Keywords — добавьте ключевые слова через запятую (не менее двух и не более пяти ключевых слов).
Закрыть сайт или страницу от индексации
Чтобы закрыть от индексирования весь сайт, перейдите в раздел «Настройки» и на вкладке «SEO настройки» активируйте опцию «Запретить индексировать сайт».
Чтобы закрыть от индексации конкретную страницу сайта, в режиме конструктора перейдите в раздел «Страницы сайта» и нажмите на значок настроек напротив нужный страницы. Затем выберите вкладку «SEO» и активируйте опцию «Запретить индексирование страницы».
Невозможно закрыть от индексации главную страницу сайта, оставив индексируемыми другие страницы сайта. Главная страница не будет индексироваться, только если весь сайт закрыт от индексации.
301 редирект
301 редирект — постоянная переадресация с одного URL-адреса на другой. При запросе одной страницы (устаревшей) посетитель сайта или поисковый робот будут перенаправлены на другую страницу сайта (актуальную). 301 редирект используется в следующих ситуациях:
- необходимо изменить URL страницы;
- страницы дублируются и необходимо оставить только один из дублей;
- при переезде сайта с одного доменного имени на другое;
- перенаправление на сайт при введении с www и без www;
Чтобы настроить 301 редирект, перейдите в раздел «Настройки» и откройте вкладку «301 редирект»:
Укажите адрес старой страницы, новой страницы и сохраните изменения. Постепенно старые URL-адресы заменятся в поисковой выдаче на новые.
Каноническая ссылка
Если есть страницы с одинаковым содержимым (URL-адреса разные), то с помощью канонической ссылки можно указать главную страницу. Эта страница будет приоритетной и будет индексироваться поисковыми системами. Вес со страниц-дубликатов будет перенесен на основную страницу.
В каких случаях полезна каноническая ссылка:
- Для продвижения сайта используются почтовые рассылки, рекламные объявления, в том числе с UTM-метками.
- Используются внешние решения, которые устанавливают параметры для адресов страниц.
В других случаях лучше использовать 301 редирект.
Чтобы включить канонические ссылки, перейдите в раздел «Настройки» и на вкладке «SEO настройки» активируйте опцию «Каноническая ссылка на страницы».
статью