Что показывает проверка ответа сервера
Инструмент находится в разделе инструментов Вебмастера. Вы вводите адрес, а Яндекс запрашивает его от имени своего робота и показывает результат. Это не то же самое, что открыть сайт в браузере: у браузера есть cookies, JavaScript и ваш обычный IP-адрес, у робота ничего этого нет.
Полнее всего инструмент работает для адресов подтверждённого сайта, поэтому сначала убедитесь, что права на домен подтверждены. В результате вы увидите:
- код ответа HTTP;
- время ответа сервера;
- заголовки: тип содержимого, кэширование, адрес редиректа, при наличии — X-Robots-Tag;
- содержимое страницы, которое получил робот.
Что означают коды ответа
Код 200 говорит, что страница отдана. Но обязательно посмотрите на содержимое: если вместо карточки товара пришла страница «подтвердите, что вы не робот» или пустой шаблон, код хороший, а проблема остаётся.
Остальные коды разбираются так:
- 301 и 302 — переадресация. Откройте заголовок Location: куда ведёт адрес, постоянный ли это перенос (нужен 301) и нет ли цепочки из нескольких прыжков. Если витрина магазина неожиданно отдаёт 302 на мобильную версию, сработало правило, о котором легко забыть.
- 401 — страница закрыта паролем.
- 403 — доступ запрещён. Чаще всего защита сервера приняла робота за бота.
- 404 — страницы нет. Для удалённых это нормально, для живых разделов — повод проверить адрес и статус публикации в CMS.
- 410 — удалена навсегда. Подходит для снятой с продажи позиции, которая не вернётся.
- 500, 502, 503, 504 — ошибки сервера.
Ошибки сервера: когда пора действовать
Единичная ошибка 5xx не страшна: хостинг мог перезагружаться. Если же она повторяется, робот начинает реже заходить на сайт, а страницы могут пропасть из поиска. Смотрите журналы ошибок, нагрузку и таймауты, особенно в дни распродаж, когда в магазин приходит много покупателей из Instagram и Telegram.
Код 503 уместен только на время технических работ. Если он остаётся после их окончания, это уже поломка.
Когда браузер и робот видят разное
Самый частый сценарий: сайт стоит за сервисом защиты или CDN, который показывает новым посетителям проверку браузера. Человек проходит её незаметно, а робот получает 403 или 503 и текст проверки вместо страницы. Обычно это всплывает сразу после подключения защиты или переезда на другой хостинг.
В настройках таких сервисов и в правилах firewall у хостинга, как правило, есть исключения для известных поисковых роботов. Убедитесь, что они включены, и повторите проверку. Если Яндекс получает 403, а Google показывает 200 в живом тесте URL в Search Console, значит, правило блокирует только одного бота.
Время ответа и заголовки
Медленный ответ ограничивает скорость обхода. Сравните время с тем, что вы видите в браузере, и проверьте в разное время суток. Большая разница говорит о том, что для робота страница собирается заново без кэша или запрос к базе слишком тяжёлый.
Заголовки тоже важны. Через X-Robots-Tag страницу можно закрыть от индексации, и в самом коде страницы вы этого не увидите. Заголовки кэширования влияют на то, как часто робот перезапрашивает страницу.
Какие адреса проверять
Не ограничивайтесь главной. Каждый вариант адреса должен отдавать либо 200 (основной), либо 301 на основной:
- с www и без www;
- http и https;
- со слешем на конце и без него;
- robots.txt и sitemap.xml: ошибка в них влияет на обход всего сайта;
- страницы каталога и ключевые посадочные;
- адреса после настройки редиректов.
Когда пользоваться инструментом и чем дополнить
Проверяйте ответ после настройки редиректов, подключения CDN или защиты, перед переездом на новый сервер, когда важная страница выпала из поиска и когда в диагностике появились ошибки доступности. Инструмент проверяет один адрес за раз, для всего сайта используйте краулер и журналы сервера. Статистика обхода в Вебмастере покажет, какие коды получал робот за период.
Если сайт регулярно теряет страницы из-за редиректов, хостинга или защиты, причина чаще всего заложена ещё при разработке. В markdev мы делаем сайты под ключ в Узбекистане и сразу настраиваем адреса, редиректы и доступ для поисковых роботов. Если хотите разобрать вашу ситуацию, напишите нам, и мы обсудим задачу.
Частые вопросы
Почему в браузере страница открывается, а Вебмастер показывает ошибку?
Робот не проходит проверки, которые проходит человек: браузерную проверку защиты, правила по IP или user-agent. Поэтому он может получить 403 или 503 при нормальной странице в браузере.
Какой код нужен для постоянного переноса страницы?
301. Код 302 означает временную переадресацию, и для постоянного переезда он не подходит.
Достаточно ли кода 200, чтобы страница попала в поиск?
Нет. Нужно, чтобы содержимое совпадало с тем, что видит человек, и чтобы страница не была закрыта через noindex, X-Robots-Tag или канонический адрес.
Можно ли проверить сразу весь сайт?
Инструмент проверяет один адрес. Для массовой проверки используйте краулер и журналы сервера, а общую картину смотрите в статистике обхода Вебмастера.
Разберём вашу задачу бесплатно
Оставьте контакт — за 15 минут созвона покажем, где теряются заявки и что сделать в первую очередь.