Специалисты Google объяснили, почему не все URL из Sitemap индексируются

Наличие файла Sitemap не является гарантией того, что поисковая система проиндексирует все URL, находящиеся в нем. Объяснения по этому поводу были обнародованы в издании Search Engine Roundtable, пригласившем представителя Google Гэри Илльеса (Gary Illyes) прокомментировать вопросы вебмастеров по этому поводу.

Илльес взял в качестве примера вопрос отраслевого специалиста, заданный на специализированном форуме в Группах Google. Суть вопроса примерно такова:

Вебмастер создал файл Sitemap, но только незначительная часть внесенных в него URL-ов страниц была проиндексирована. В общей сложности в файле около 40 тысяч страниц, а поисковик проиндексировал лишь 100. Решив, что это случилось в результате какого-то сбоя, вебмастер повторно сообщил Google о наличии файла Sitemap, однако никаких изменений не последовало. Поскольку файл Sitemap создан корректно, у специалиста возникло недоумение, чем вызван «отказ» добавлять указанные страницы в индекс. Свой вопрос он опубликовал на странице.

В ответной публикации Гэри Илльес рассказал, что корректность составления файла Sitemap не является гарантией того, что все указанные в нем страницы попадут в индекс Google. Пользователи должны расценивать файл Sitemap, как вспомогательное средство, наличие которого позволяет ускорить обнаружение контента на сайте. Страницы будут проиндексированы и без файла Sitemap он необходим лишь для того, чтобы ускорить работу краулеров.

Другими словами, Sitemap лишь уменьшает время на индексирование алгоритмами сканирования Googlebot, но не задает им указание, какие URL-ы индексировать. Гэри Илльес подчеркнул, что алгоритмы поисковика могут «отсеять» некоторые страницы, внесенные в  файл Sitemap. Специалист Google не предоставил подробного объяснения, по какому принципу отбраковываются адреса, но указал, что обычно исключаются страницы, содержащие малозначительный контент.

К этому можно добавить, что специалисты поисковой службы Яндекс также выступили с подобным заявлением. В нем утверждается, что Яндекс использует примерно такой же подход, как в Google. Яндекс учитывает файл Sitemap, но его наличие не гарантирует добавление в индекс поисковика всех адресов, указанных в нем.

К этому стоит добавить, что с апреля 2013 года Яндекс предоставил для веб-мастеров сервис для работы с файлами Sitemap, а также возможность просматривать историю индексирования сайтов. Для ознакомления с этой услугой можно перейти на страницу API Яндекс.Вебмастера, расположенную по адресу

Благодарственные письма
Выберите необходимые вам услуги
Ваше имя:

Ваш телефон:

Ваш email:

Новости
Вскоре будет закрыт популярный каталог DMOZ 08.03.2017
Стало известно о том, что именно 14 марта этого года произойдет важнейшее событие
Google: как защитить сайт от спама 30.01.2017
Борьба со спамом для владельцев сайтов – привычное дело...
Применение CDN 29.12.2016
Джон Мюллер, который является представителем поиска Google, на последней видео-встрече для вебмастеров рассказал
Трафик стал основной целью для SEO в 2016 году 29.11.2016
По итогам исследования Askend2 в Соединенных Штатах, определены приоритеты в работе с сео
Готовы начать?
Позвоните нам:
+375 (29) 38-44-358
Заинтересованы в сотрудничестве?
Вы можете оставить заявку прямо сейчас.