Яндекс Вебмастер индексирование: какие отчёты смотреть

Как устроено индексирование и где в нём ломается

Путь страницы в поиск состоит из трёх шагов: робот заходит на адрес, затем алгоритм решает, стоит ли хранить страницу, и только потом она может показываться в выдаче. Вебмастер отражает каждый шаг отдельным отчётом, поэтому проблему можно локализовать: сервер не отвечает, страница закрыта, она признана копией или просто слабая по содержанию.

Названия отчётов и их расположение со временем меняются, но логика остаётся прежней. Поэтому учитесь не запоминать кнопки, а задавать вопросы: сколько страниц в поиске, что исключено, почему и что робот видит при обходе.

Отдельно проверьте, кому принадлежит аккаунт. Если сайт делала студия или фрилансер и права подтверждены на их почту, вы остаётесь без доступа к данным собственного сайта. Права должны быть у владельца бизнеса.

Первая настройка: пошаговая инструкция

Если сайт только запущен или вы впервые открываете Вебмастер, пройдите базовые шаги. Они занимают немного времени, но избавляют от самых частых причин, почему сайт «не виден».

• Добавьте сайт и подтвердите права: мета-тегом, файлом или записью в DNS.
• Проверьте главное зеркало и версию с https: должен быть один основной адрес, остальные ведут на него.
• Укажите регион сайта, если бизнес работает локально, например в Ташкенте или Самарканде.
• Откройте robots.txt и убедитесь, что сайт не закрыт целиком: после разработки там нередко остаётся тестовый запрет.
• Добавьте карту сайта sitemap.xml и дождитесь статуса обработки.
• Отправьте на переобход главную и страницы ключевых услуг.
• Вернитесь к отчётам через несколько дней и сверьте картину.

Отчёт «Страницы в поиске»: главный экран

Это первый отчёт, который стоит открывать. Он показывает число страниц в поиске, динамику, список недавно добавленных и исключённых адресов. Сравните число с тем, сколько страниц на сайте действительно должно быть в поиске: услуги, товары, статьи, контакты. Служебные адреса в эту цифру входить не должны.

Историю изменений связывайте с событиями на сайте: релиз, смена шаблона, подключение нового платёжного модуля, перенос на другой хостинг. Падение графика почти всегда совпадает с чьим-то действием, и найти это действие проще, чем гадать.

Не ограничивайтесь общей цифрой. В отчёте по структуре сайта видно, сколько страниц загружено и сколько в поиске по каждому разделу. Нередко блог индексируется почти полностью, а каталог — на малую долю. Общее число этого не покажет.

Причины исключения: что делать с каждой

Главный принцип: откройте примеры страниц из каждой группы и решите, исключены ли они ожидаемо. Адреса с фильтрами, метками рекламы, корзина, внутренний поиск по сайту должны быть вне индекса, это нормально. Тревога нужна, когда исключены страницы, которые приносят заявки.

• Дубль: Яндекс считает страницу копией другой. Проверьте, не открывается ли материал по двум адресам (со слешем и без, с разными путями), настройте редирект и canonical.
• Недостаточно качественная: алгоритм не увидел ценности. Если это страница услуги, добавьте конкретику: что входит, для кого, как оформить заказ, как оплатить через Click или Payme, фото и вопросы клиентов.
• Запрещено в robots.txt или мета-тегом: убедитесь, что запрет поставлен намеренно, и снимите его с нужных страниц.
• Перенаправление: страница ведёт на другой адрес. Это нормально для старых ссылок, но не для действующих разделов.
• Неканоническая: canonical указывает на другую страницу. Проверьте, что он не указывает на главную или на чужой раздел по ошибке.
• Ошибка HTTP: страница отдаёт 404 или 5xx. Верните страницу или настройте корректное перенаправление.

Статистика обхода, переобход и проверка адреса

Отчёт по обходу показывает, какие адреса посещал робот и какой ответ получил. Массовые ошибки 5xx говорят о нестабильном сервере: слабый тариф хостинга, нагрузка во время акции. Если робот много раз заходит на технические адреса с параметрами, нужные страницы могут обходиться реже, поэтому такие адреса стоит закрывать от обхода или склеивать canonical.

Инструмент переобхода принимает адреса на приоритетный обход, но дневной лимит ограничен. Отправляйте то, что действительно важно: новую услугу, обновлённый прайс, исправленную страницу. Сотни мусорных адресов только съедят лимит. Для сайтов, которые часто обновляются, Яндекс поддерживает и протокол IndexNow, позволяющий автоматически сообщать об изменениях.

Когда конкретная страница не появляется в поиске, используйте проверку статуса адреса: там видно, находится ли страница в поиске, когда её обходил робот и какой ответ он получил. Это самый быстрый способ понять, проблема в доступе, в запрете или в оценке качества. Статус карт сайта проверяйте отдельно: карта должна обрабатываться без ошибок, а число адресов в ней совпадать с ожидаемым.

Пример: интернет-магазин из Ташкента

Типовой сценарий, не реальный кейс. Магазин бытовой техники принимает оплату через Click и Payme, трафик получает из Instagram и Telegram-канала, а часть покупателей приходит из поиска. После обновления сайта владелец замечает, что звонков из поиска стало меньше.

В «Страницах в поиске» он видит, что число страниц снизилось, а среди исключённых много карточек со статусом «Дубль». Проверка адреса показывает: после обновления карточки открываются по двум путям, с категорией и без неё, а canonical отсутствует. Разработчик настраивает единый адрес, редирект со второго варианта и canonical, обновляет sitemap. Владелец отправляет на переобход главные категории и самые ходовые карточки, а потом наблюдает за динамикой: страницы возвращаются постепенно, а не за один день.

Типичные ошибки при чтении отчётов

Большинство проблем возникает не из-за сложных технических причин, а из-за неверной трактовки данных.

• Паника из-за исключённых дублей с параметрами, которые и должны быть вне поиска.
• Игнорирование группы «Недостаточно качественная», хотя в ней оказались важные страницы услуг.
• Отправка на переобход мусорных адресов вместо новых и изменённых страниц.
• Взгляд только на общее число страниц без разбивки по разделам.
• Проверка отчётов раз в полгода, когда падение уже стоило заявок.
• Сравнение с Google без поправок: поисковики индексируют сайт по-разному, и расхождение стоит разбирать по причине, которую показывает Яндекс.

Еженедельный чек-лист

Хватит 15–20 минут в неделю и ещё одной проверки после каждого серьёзного изменения на сайте.

• Число страниц в поиске и динамика: нет ли резкого скачка.
• Новые исключённые страницы: есть ли среди них важные и по какой причине.
• Ошибки в статистике обхода, особенно 5xx и 404.
• Статус sitemap и число адресов в нём.
• Диагностика сайта: нет ли критичных замечаний.
• Ключевые страницы: проверка статуса адреса после правок.

Что закладывать при разработке сайта

Большая часть проблем индексирования создаётся на этапе разработки: адреса без единых правил, дубли карточек, забытый запрет в robots.txt, отсутствие карты сайта, медленный хостинг. Исправлять это после запуска дороже, чем предусмотреть заранее.

Если вы планируете новый сайт или подозреваете, что текущий теряет страницы в поиске, команда markdev поможет разобраться в причинах и при необходимости заложить правильную структуру на этапе разработки под ключ. Расскажите о задаче, и мы подскажем, с чего начать.