Sitemap генератор: как выбрать и не навредить индексации

Чем генераторы различаются на самом деле

Владельцы бизнеса обычно сравнивают генераторы по удобству и цене. Для поиска важнее другое: обновляется ли карта сама, когда вы добавляете товар, статью или закрываете старую страницу. Если нет, файл превращается в снимок сайта на день создания.

Устаревший снимок вредит двумя способами. Новых страниц в нём нет, поэтому о них поисковик узнаёт позже. А удалённые адреса остаются, и робот снова и снова приходит на страницы с ошибкой.

Встроенные средства CMS и плагины

Если сайт сделан на популярной CMS или конструкторе, начинайте с её собственной карты. Она обновляется вместе с содержимым, и вам не нужно помнить о ручной выгрузке. Так же ведёт себя большинство платформ для интернет-магазинов: товары и категории попадают в карту автоматически.

SEO-плагины дают больше контроля над тем, что включать. Но у них есть типичные ловушки, поэтому после установки проверьте четыре вещи:

• не попали ли в карту теги, вложения и архивы авторов, которые не нужны в поиске
• исключаются ли страницы с noindex
• соответствует ли дата lastmod реальному изменению страницы, а не дате пересохранения
• нет ли второй карты от самой CMS: карта должна быть одна

Онлайн-генераторы и краулеры

Онлайн-сервис обходит сайт по ссылкам и отдаёт готовый файл. Для визитки или лендинга из нескольких страниц, который почти не меняется, этого достаточно. Для живого сайта у такого подхода есть минусы: карта статична, бесплатные тарифы часто ограничивают число страниц, а файл приходится вручную загружать на сервер.

Есть и другая особенность: генератор берёт всё, что нашёл по ссылкам, включая адреса с параметрами и служебные страницы. Страницы без внутренних ссылок он вообще не увидит. Настольный краулер работает похоже, но позволяет отфильтровать результат: оставить только страницы с ответом 200, без noindex и с каноническим адресом. Всё равно это разовый снимок.

Самописные сайты и крупные магазины

Если сайт написан на фреймворке, карту правильнее формировать кодом из базы данных: при запросе или при сборке. Так вы сами решаете, какие типы страниц попадают в файл, и исключаете черновики, закрытые и служебные разделы. Цена такого решения — участие разработчика: при появлении нового типа страниц генерацию нужно дополнить.

Для большого каталога товаров удобно разбивать карту на несколько файлов по типам страниц: товары, категории, статьи. Тогда в отчётах поисковых систем видно, где именно возникли проблемы с индексацией.

Какой sitemap генератор выбрать

Короткое правило: чем чаще меняется сайт, тем автоматичнее должен быть способ.

• Сайт на CMS: встроенная карта или SEO-плагин
• Интернет-магазин: генерация из базы с разбивкой по типам страниц
• Самописный сайт: скрипт или маршрут, который собирает карту из данных
• Небольшой статичный сайт: онлайн-генератор или краулер, с повторной генерацией после каждой правки

Двуязычный сайт: русский и узбекский

Многие сайты в Ташкенте и регионах работают на двух языках. Типичная проблема: плагин мультиязычности и SEO-плагин настроены независимо, и в карту попадает только основной язык. Узбекские страницы при этом индексируются медленнее, а причину можно не замечать месяцами.

Удобное решение — индексный файл и отдельная карта для каждого языка. Тогда в Search Console и Вебмастере можно смотреть индексацию узбекской версии отдельно от русской.

Что сделать после генерации

Сам генератор качество не гарантирует: он выполняет только то, что вы ему настроили. Откройте файл и просмотрите адреса, проверьте формат валидатором, убедитесь, что указан основной домен с нужным протоколом, добавьте путь к карте в robots.txt и отправьте её в Search Console и Вебмастер. Через несколько дней загляните в отчёты об обработке.

Главная ошибка — создать карту один раз и забыть. Если способ не автоматический, внесите обновление карты в регламент публикации контента. Если нужно разобраться, как карта сайта вписывается в общую SEO-стратегию, специалисты markdev помогут обсудить вашу задачу и выбрать подход под конкретный сайт.