Индексация сайта

Мне очень приятно, что хоть малой части моей аудитории интересно сайтостроение. После того, как мы с вами создали свой сайт, на нужно добавить его в поисковые системы, чтоб получать посетителей. Для этого Вам понадобится узнать, что такое индексация сайта, небольшие знания из прошлых уроков и 10 минут свободного времени.

Индексация сайта – это считывание страниц вашего сайта поисковым роботом для дальнейшего добавление страниц в результаты поиска. Если робот не проиндексирует Ваш сайт, его не будет в поиске. У каждой поисковой системы отдельная база данных, поэтому нам придется отдельно добавлять сайт в поиск Яндекс и Google.

Зачем нужен robots.txt и sitemap.xml

Файлы robots.txt и sitemap.xml крайне важны для каждого сайта. Они необходимы для поисковых роботов, чтоб упростить и ускорить индексацию страниц. Перед тем, как добавлять сайт в поисковики, нам нужно создать эти файл, поэтому давайте рассмотрим их в отдельности.

Sitemap.xml

Sitemap.xml – это карта сайта для поискового робота. Чтоб не ходить по вашему сайту в поиске новых страниц, робот считывает этот файл и в случае появления новой страницы, он добавляет её в поиск.

Если на сайте мало страниц и новые не предвидятся, Вам все ровно будут приходить уведомления «На сайте *******.ru отсутствует sitemap.xml». поэтому нам обязательно нужно создать карту сайта.

Спешу обрадовать тех, кто делал сайт на WordPress вместе с нами – карту сайта мы уже создали при помощи плагина Google XML Sitemap — https://webhalpme.ru/5-plaginy-wordpress/#Google_XML_Sitemaps

Robots.txt

Robots.txt – это важный файл для каждого сайта. Роботс всегда располагается в корне сайта и доступен по адресу ******.ru/robots.txt. В этом файле, Вы указываете команды поисковым роботам какую директиву можно индексировать, а какую нет. Так же, в файле robots.txt Вы указываете путь до вашей карты сайта и как обращаться к сайту.

Давайте создадим нужный документ и посмотрим подробнее, что мы должны в нём указать:

Для того, чтоб создать файл роботс, к примеру: на рабочем столе нажмите правой кнопкой мыши, выберите пункт «Создать» и выберите «Текстовый документ». Введите имя файла «robots». Готово!

Теперь давайте рассмотрим пример, что должно быть в файле:

User-agent: *

Disallow: /wp-admin/

Disallow: /page/

Allow: /wp-admin/admin-ajax.php

 

Sitemap: https://webhalpme.ru/sitemap.xml

Host: https://webhalpme.ru

Это файл моего сайта и сейчас я предлагаю ознакомиться с его директивами:

User-agent: * — указывает, что наш роботс для всех роботов (Яндекс, Google, Mail, Yahoo и т.д.)

Disallow: /wp-admin/, /page/ — запрещает индексирования этих страниц. Т.е. я запретил роботу лазить по моей админ панели и индексировать страницы навигации.

Allow: /wp-admin/admin-ajax.php – разрешает роботу индексировать этот файл.

Sitemap: https://webhalpme.ru/sitemap.xml — указывает где расположена карта сайт.

Host: https://webhalpme.ru – Указывает как обращаться роботу к нашему сайту. Если бы сайт был без SSL сертификата (http:// без s), тогда нужно было бы написать так:

Host: webhalpme.ru

Думаю, Вы поняли. Ничего сложного! Если у вас сайт так же на ВордПресс, просто скопируйте мой роботс, и не забудьте заменить мой адрес сайта на ваш.

После того, как файл robots успешно создан, загрузите его в корень сайта.

Как добавить сайт в Яндекс

Сайт есть, статьи на сайте есть, нужные файлы создали, давайте теперь добавим наш сайт в Яндекс Вебмастер. Для начала, перейдите в кабинет вебмастера — https://webmaster.yandex.ru

После чего нажмите на «Плюс (+)» в верху страницы:

И введите адрес вашего сайта и нажмите «Добавить»:

Теперь Вам необходимо подтвердить права, что это действительно Ваш сайт. Лучшим способом будет добавление meta тега. Скопируйте его:

Теперь необходимо разместить этот мета тег в коде нашей темы WordPress. Для этого откройте админ панель вашего сайта и перейдите в раздел «Внешний вид», затем «Редактор тем». Найдите в списке файлов (с правой стороны) файл «header.php» и откройте его. Перед вами открылся код, не стоит его пугаться. Вставьте вашу строчку в области мета тегов, которые находятся между тегами <head></head> И нажмите обновить файл.

Выглядеть это должно приблизительно так:

<head>

               <meta charset="<?php bloginfo( 'charset' ) ?>">

               <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">

               <meta http-equiv="X-UA-Compatible" content="ie=edge">

               <?php wp_head(); ?>

               <meta name="yandex-verification" content="3ecee439d29b18ce" />

</head>

Готово! Возвращаемся в кабинет Яндекс вебмастера и нажимаем «Проверить». После проверки, наш сайт добавлен в кабинет вебмастера и в скором времени он появиться в поиске Яндекса.

В кабинете вебмастера нам остался всего 1 пункт, и мы можем его закрывать. Необходимо добавить ссылку на карту сайта. Для этого, перейдите в раздел «Индексирование», затем «Файлы Sitemap». Введите адрес вашего sitemap.xml и нажмите «Добавить»:

Как добавить сайт в Google

В Google всё практически также, только другой дизайн и навигация. Давайте подробнее рассмотрим, как добавить сайт в поиск Google:

  1. Перейдите по адресу https://search.google.com/search-console?hl=ru
  2. Нажмите на «+ Добавить ресурс»
  3. Вводим адрес нашего сайта с выбором протокола (http:// или httpS://):

  1. Подтверждаем права собственности, точно так же как в Яндексе:

Наш сайт добавлен, теперь осталось добавить карту сайта. Перейдите в раздел «Файлы Sitemap» и добавьте вашу карту сайта:

Вот и всё, нам остаётся только ждать. Обычно, сайт появляется в поиске от 2 часов, до 2 дней. В некоторых случаях сайт может войти в индекс через неделю.

Как ускорить индексацию сайта

На индексацию новых страниц сайта влияет много факторов:

  • Частота добавления новых страниц. Если Вы часто публикуете новый материал, тогда робот заглядывает на сайт чаще и это факт.
  • Посещаемость вашего ресурса. Например, есть у меня сайт с посещаемостью 100 чел. в день, и страницы входят в индекс 1-2 дня, а сайт, на котором 5к. в сутки, новые страницы появляются в течении 10 мин.
  • Если на сайте установлен счётчик посещаемости Яндекс Метрика и Google Analytics.

Факт остаётся фактом и это неоднократно проверено, что наличие счётчика от Google и Яндекс ускоряет индексацию страниц. К примеру, чтоб новая страница появилась в поиске в течении 10 минут, на ней должен стоять счётчик Метрики и пройтись хотя бы 15 посетителей. Яндекс получает сигнал и принимает страницу за новостную, а новости сами понимаете…

Добавляем сайт в Яндекс.Метрика

В принципе всё точно также, как и с добавлением сайта в поиск:

  1. Открываем сайт — https://metrika.yandex.ru
  2. Нажимаем добавить счётчик
  3. Вводим название и адрес сайта и нажимаем «Создать счётчик»:

  1. Копируем наш код счетчика:

  1. Вставить счётчик можно в виджет WordPress добавив виджет «Текст»:

Вот и всё, можете пользоваться Метрикой, отслеживать статистику, читать поисковые запросы, по которым перешли на сайт и т.д.

Добавляем сайт в Google Analytics

И так, идём пошагово:

  1. Открываем сайт Аналитики — https://analytics.google.com/
  2. Нажимаем на кнопку «Зарегистрироваться». Вводим название аккаунта (любое), крутим в низ и нажимаем далее.
  3. Заполняем информацию о ресурсе и нажимаем «Создать»:

  1. Копируем код счетчика и идём в админ панель сайта:

  1. Через виджет мы уже добавляли, давайте теперь добавим через «Внешний вид», «Редактор тем» (К в случае с мета тегами (см. выше)). Найдите в списке файл с именем «footer.php» и вставьте там код счётчика, после чего обновите файл:

Вот и всё! Мы с вами проделали большую и очень важную работу. Теперь Вам осталось наполнять сайт новыми, интересными и уникальными материалами. Если что то не понятно, пишите в комментарии.

Оставить комментарий

avatar
  Подписаться  
Уведомление о