Google Search Console couldn't fetch sitemap: как исправить

Что означает «Couldn't fetch» и стоит ли ждать

Статус говорит об одном: Google попытался загрузить файл по указанному адресу и не получил его в пригодном виде. Это не значит, что сайт выпал из поиска или страницы не индексируются. Карта сайта — подсказка для робота, а не единственный способ найти страницы: он ходит и по внутренним ссылкам.

Но подсказка нужна, когда сайт растёт. Если у вас интернет-магазин в Ташкенте с большим каталогом или сайт услуг с отдельными страницами по городам и областям, без рабочей карты новые страницы находятся медленнее, а понять, что именно в индексе, сложнее. Поэтому ошибку стоит устранить, даже если трафик пока не упал.

Если карту добавили только что, статус часто висит просто потому, что робот ещё не дошёл до файла. Дайте Google время и вернитесь к отчёту; удалять и добавлять карту по десять раз подряд бессмысленно. Если прошло несколько дней, а статус прежний, либо вы недавно меняли хостинг, CMS, плагины безопасности или настройки домена — переходите к диагностике. Идите по порядку: от частых и простых причин к редким.

Шаг 1. Проверьте адрес карты

Почти половина случаев — обычная неточность. Откройте адрес карты в браузере в режиме инкогнито: файл должен открываться сразу, без запроса пароля и без страницы-заглушки.

• Имя файла: sitemap.xml, sitemap_index.xml или другое — то, что реально существует на сайте.
• Протокол: https, а не http.
• Версия домена: с www или без — как у ресурса в Search Console.
• Домен карты совпадает с доменом ресурса; карта с чужого поддомена не подойдёт.
• Нет опечаток и лишних символов в конце адреса.

Шаг 2. Посмотрите код ответа сервера

Браузер может показать файл, а робот получит совсем другое. Проверьте код ответа адреса карты онлайн-сервисом или во вкладке Network в инструментах разработчика.

Если вы видите 301 или 302, замените адрес в Search Console на конечный: так надёжнее. Если код 200, но внутри не XML, а страница сайта, значит, CMS отдаёт HTML вместо карты.

• 200 — норма.
• 301/302 — перенаправление, укажите итоговый адрес.
• 403 — доступ запрещён, обычно блокирует защита или правило сервера.
• 404 — файла нет: плагин не создал карту или она лежит по другому пути.
• 5xx — ошибка сервера, нужен лог хостинга.

Шаг 3. Найдите блокировки

Это самая коварная группа причин: для вас всё работает, а для робота закрыто. Начните с robots.txt — убедитесь, что путь к карте не запрещён директивой Disallow. Заодно добавьте в файл строку Sitemap с полным адресом карты.

Затем проверьте защиту. Плагины безопасности, брандмауэр хостинга, CDN и антибот-фильтры иногда принимают Googlebot за подозрительный трафик и отдают ему проверочную страницу или 403. Сюда же относятся пароль на сайте (типично для тестовой версии, которую забыли открыть) и ограничения по странам: если сервер режет запросы из определённых регионов, робот может не пройти. Посмотрите логи сервера: есть ли там запросы Googlebot к карте и что им отвечали.

Шаг 4. Формат, размер и скорость ответа

Даже доступный файл может оказаться непригодным. Откройте его и пролистайте начало: ошибки разметки часто видны сразу. Прогоните карту через XML-валидатор.

Отдельная частая беда — лишние символы или пустые строки перед XML-объявлением. Их порой добавляют PHP-шаблоны и самописные модули: файл вроде бы открывается, но как XML не читается.

Ещё одна причина — скорость. Если карта строится динамически при каждом обращении, а сайт большой, сервер может отвечать так долго, что робот оборвёт загрузку. Для каталога на несколько тысяч товаров с фильтрами это обычная история на недорогом хостинге. Решение: кешировать готовый файл, генерировать его заранее по расписанию, разбить на несколько карт по разделам (товары, статьи, категории) и собрать в индексный файл.

• Корректный XML, все теги закрыты.
• Кодировка UTF-8.
• Адреса абсолютные, с протоколом и доменом.
• В карте нет чужих доменов и закрытых от индексации страниц.
• Размер и число адресов не превышают лимиты протокола sitemap.
• Если файл сжат, архив создан корректно.

Шаг 5. Проверка через инструмент URL и повторная отправка

Вставьте адрес карты в инструмент проверки URL и запустите проверку live-версии. Он покажет, что видит Google прямо сейчас: код ответа, доступность, возможные блокировки. Это самый быстрый способ превратить «кажется, всё в порядке» в факт.

Исправив причину, отправьте карту повторно или удалите и добавьте заново. Статус обновится после обработки, не мгновенно. Если файл доступен и корректен, а статус упорно не меняется, проверьте, индексируются ли страницы из карты: если да, Google находит их и так. Можно также попробовать другое имя файла и убедиться, что карта указана в robots.txt.

Пример: карта открывается, а Google её не видит

Типичная ситуация для интернет-магазина с оплатой через Click и Payme и защитой от ботов на уровне CDN. Владелец открывает sitemap.xml — всё хорошо, а в Search Console «Couldn't fetch». Проверка live-версии показывает 403: правило защиты блокирует запросы без привычных браузерных заголовков, а робот Google их не отправляет. Решение — исключение для проверенных поисковых роботов в настройках защиты и повторная отправка карты. Менять саму карту не потребовалось.

Мораль: если в браузере всё открывается, это ещё ничего не доказывает. Смотрите глазами робота.

Типичные ошибки и чек-лист

Чаще всего теряют время на одном и том же: добавляют карту с http вместо https, указывают версию домена, которой нет в ресурсе, проверяют файл только в браузере, правят карту вместо настроек защиты и без конца переотправляют её, не изменив причину. Пройдите список сверху вниз, прежде чем писать разработчику или хостеру.

• Адрес открывается в инкогнито, протокол и домен совпадают с ресурсом.
• Код ответа 200, без цепочки перенаправлений.
• robots.txt не закрывает карту и содержит строку Sitemap.
• Защита и CDN не блокируют Googlebot, пароля нет.
• XML валиден, UTF-8, нет лишних символов в начале.
• Большая карта разбита на части.
• Live-проверка в инструменте URL проходит.

Если причина не находится

Иногда проблема на стыке нескольких факторов: хостинг, CDN и плагин CMS вместе. Тогда полезно смотреть на техническую проверку в связке со стратегией сайта: какие страницы важны для бизнеса и как контролируется их индексация. Команда markdev разбирает такие вопросы в рамках маркетинговой стратегии и консалтинга; если хотите обсудить свою задачу, напишите нам.