Индексация сайта в поисковых системах Google и Яндекс: проверяем, анализируем, ускоряем

Индексация сайта до сих пор остается частой проблемой, хотя поисковые системы, такие как Яндекс и Google зачастую могут самостоятельно определить многие ошибки и решить их, даже если об этом не позаботился владелец сайта или вебмастер.

Что такое индексация сайта? Это процесс получения и сохранения информации поисковыми системами о страницах вашего сайта. То есть недостаточно сделать на сайте новую страницу, необходимо еще, чтобы поисковые системы ее проиндексировали, и только тогда страница может быть показана пользователю в ответ на определенный запрос.

Как именно поисковые системы получают информацию о страницах вашего сайта? Прежде всего - это ссылки. Ссылки на страницы внутри вашего сайта (например с навигационного меню) и с других сайтов. Второй способ – это наличие вашего сайта в сервисах поисковых систем (подробнее об этих сервисах здесь – Сервисы и инструменты для СЕО), то есть когда вы напрямую указываете поисковой системе о наличии сайта, который необходимо проиндексировать. Для ускорения индексации в этих сервисах можно добавить специальные файлы (sitemap.xml), где содержатся ссылки на все имеющиеся страницы.

Также наличие сайта в сервисах поисковых систем позволяет посмотреть какие страницы поиск держит в индексе, а какие – удаляет.

И вот здесь у нас могут возникнуть первые проблемы, касающиеся индексации сайта. Хотя нет – самой первой проблемой отсутствия страниц в индексе поисковых систем является то, что поиск о них не знает. Это может быть связано с тем, что вы создали страницу совсем недавно и поисковые системы еще не успели ее проиндексировать. Или же поиск не смог проиндексировать страницу, так как на нее нет ни одной ссылки и ее нет файлах sitemap. Также проблемой может оказаться тот, что у сайта слишком много страниц в индексе (поисковые боты не успевают получить всю информацию о сайте) или же страница находится так глубоко в иерархии вложенности, что до нее сложно добраться.

В этом случае проблемы решаются просто – надо дать возможность поисковым системам легче найти эти страницы: разместить ссылку на главной странице, в навигационном меню, разместить ссылки на внешних сайтах и в социальных сетях, указать адрес страницы в файле sitemap, сделать карту сайта, где поисковые роботы смогут легко получить информацию обо всех страницах на сайте.

Переходим ко второй проблеме, о котором мы уже начали говорить выше – проблема исключения (удаления) страниц из поиска.

Почему поисковые системы удаляют страницы из поиска и какие страницы они исключают?

Поисковые системы могут удалить страницы из поиска по причине отсутствия информационной ценности. То есть на странице либо очень мало полезной информации (что часто бывает например на страницах товаров в интернет-магазине), либо эта информация уже есть на других страницах (например страницы поиска по тегам внутри сайта). Также Именно поэтому сейчас не имеет смысла воровать чужую информацию и перепубликовывать у себя на сайте. Такие страницы сейчас будут просто удаляться из поиска. А современный поиск даже «научился» определять рерайт (переписанную информацию) и теперь нередко удаляет из поиска страницы с рерайтом (особенно если он низкую уникальность). Причем, поиск может удалить из поиска страницу вашего сайта, даже если вы первый опубликовали информацию, а кто-то ее перепубликовал (посчитал сайт более популярным или раньше проиндексировал). Поэтому сейчас важно не только публиковать уникальную ценную информацию и увеличивать ее значимость при помощи привлечения большего количества посетителей на сайт (рекомендую прочитать мою статью – Какувеличить трафик на сайт).

Также страницы могут быть удалены по причине дублирования. Например, если одна и та же страница доступна по нескольким адресам – c www и без, по https и http – то поисковые системы сами определяют дубли и оставляют лишь один вариант, однако для устранения возможных проблем следует правильно настроить редиректы, чтобы все дублирующие страницы перебрасывали в итоге на один адрес страницы.

Третья проблема, по которой поиск может удалить страницы из поиска – это запреты для поисковых роботов. Зачастую запреты для поисковых роботов ставят, чтобы защитить внутреннюю информацию сайта или не выдавать в индексе технические страницы (например страницы администраторской панели), но иногда под запреты попадают те страницы, которые следует индексировать или вспомогательные файлы (например файлы CSS или картинки), которые нужны для корректного отображения страницы. И не получив информации, которая находится под запретом, поисковые роботы не могут проиндексировать нужные страницы или их составляющие.

Как проверить наличие или отсутствие (исключение) страниц в поиске?

Для этого опять лучше всего использовать сервисы поисковых систем, такие как Google Search Console и Яндекс.Вебмастер. Причем нужно использовать оба сервиса, если вам нужен трафик из обоих поисковых систем, так как у каждой системы могут быть свои проблемы с индексацией.

В Google Search Console проверить количество проиндексированных страниц можно на вкладке «Покрытие». Там вы увидите не только количество проиндексированных и исключенных страниц, но и ошибки, связанные с индексированием (например отсутствующие страницы, которые отдают ошибку 404).

В Яндекс.Вебмастер необходимо перейти на вкладку «Индексирование», там выбрать «Страницы в поиске», прокрутить ниже и посмотреть «Все страницы» или «Исключенные страницы».

По каждой странице (тем, что в поиске и по исключенным) можно посмотреть подробную информацию, и, если страница важна, но по каким-то причинам исключена из поиска, то там вы сможете узнать о проблеме исключения и устранить ее.

А можно ли проверить индексацию без сервисов поисковых систем?

Конечно. Достаточно в поиске Google вбить конструкцию - site:вашсайт.ру, а в поиске Яндекс - host:вашсайт.ру (только вместо «вашсайт.ру» подставьте домен вашего сайта) и вы получите все проиндексированные страницы указанного сайта. Или можете просто воспользоваться анализом от сайта pr-cy.ru, где в числе прочих параметров будет указано и количество проиндексированных страниц сайта. 

А как можно ускорить индексацию страниц?

Здесь нет ничего сложного. Прежде всего я бы рекомендовал очень хорошо подумать над навигационным меню, где будут отражены все ссылки на ваш сайт (если сайт небольшой), или страницы категорий со всеми ссылками на отдельные страницы (если сайт большой).

Обязательно добавьте ваш сайт в сервисы поисковых систем. Так вы не только поможете ускорить индексацию, но и обнаружить проблемы, которые могут препятствовать индексированию страниц вашего сайта.

Также создайте файл sitemap.xml  и обязательно добавляйте в него все адреса страниц вашего сайта. Если вы постоянно добавляете на сайт новую информацию, то рекомендую добавить на главную страницу специальный блок, где будут отображаться последние обновления (от пяти до десяти страниц).

Если на вашем сайте много страниц, которые невозможно представить в навигационном меню, то создайте на сайте блок, где в 2-4 клика (уровня вложенности) можно добраться до любой страницы вашего  сайта. Это может быть Архив сайта или Карта сайта.

Дополнительно я бы рекомендовал на каждой отдельной странице добавить блок с ссылками на другие страницы (например «Читайте также», «Рекомендуемое», «Популярное»), где бы отображались страницы максимально близкой тематики.

Также для ускорения индексации можно использовать и внешние ссылки на сайт. Для этого не обязательно искать хорошие тематические трастовые сайты (хотя такие ссылки будут в плюс вашему проекту), а достаточно просто делать публикации с ссылками в социальных сетях (лучше всего на страницах, привязанных к вашему сайту). Поисковые роботы очень активно индексируют контент социальных сетей и это поможет ускорить индексацию страниц вашего сайта.