Краулинговый бюджет: что это и как не тратить его зря

Как работает краулинговый бюджет

Поисковая система не обходит все сайты подряд с одинаковой интенсивностью. Робот учитывает две вещи: сколько запросов ваш сервер выдерживает без замедления и насколько сайт кажется ему полезным и востребованным. Из этого складывается условный лимит страниц за определённый период.

Важно понимать: бюджет — не цифра, которую можно посмотреть в одном отчёте и выставить вручную. Это ориентир, на который можно влиять косвенно: убирая лишнее, ускоряя сервер и подсказывая роботу, что действительно важно.

Кому стоит о нём думать

Если на сайте несколько сотен страниц, робот, как правило, справляется без проблем, и силы лучше потратить на контент и коммерческие факторы. Сигналы, что пора заняться вопросом всерьёз:

• на сайте тысячи или десятки тысяч страниц;
• цены, наличие и новости меняются каждый день;
• каталог с фильтрами по цвету, размеру, цене и бренду;
• много страниц создаётся автоматически шаблонами;
• новые страницы неделями не попадают в индекс.

На что бюджет уходит впустую

Типичная история для ташкентского интернет-магазина электроники или одежды: в каталоге десять тысяч товаров, а робот бродит по миллионам адресов, которые возникли из сочетаний фильтров и сортировок. Реальные карточки он посещает редко, потому что «застрял» в комбинациях вида «цена по возрастанию + чёрный цвет + доставка».

Чаще всего бюджет съедают:

• бесконечные комбинации фильтров и сортировок;
• адреса с UTM-метками и другими параметрами отслеживания, особенно из рекламы в Instagram и Telegram;
• дубли страниц: с www и без, со слешем и без;
• страницы с ошибками 404 и 500;
• цепочки редиректов, когда адрес перенаправляет на другой, а тот — на третий;
• страницы внутреннего поиска и корзины;
• календари и архивы с бесконечными датами.

Как вернуть бюджет важным страницам

Логика простая: закрыть мусор, убрать дубли и дать роботу ясную карту того, что ценно. На практике это набор конкретных действий.

• Закрыть от сканирования служебные разделы и ненужные параметры в robots.txt.
• Для дублей настроить canonical или закрыть их от индексации, если они не нужны в поиске.
• Исправить битые ссылки и сократить цепочки редиректов до одного шага.
• Держать актуальную карту сайта только с рабочими страницами, без редиректов и ошибок.
• Ускорить ответ сервера: медленный хостинг напрямую снижает число страниц, которые робот успевает обойти.

Внутренние ссылки и карта сайта

Робот находит страницы по ссылкам. Если важная категория или карточка не связана ни с чем, кроме карты сайта, её обнаружат медленнее. Ссылки с главной, из разделов и со страниц, которые часто обновляются, работают как указатели: туда робот заходит чаще и по пути замечает новое.

Полезная привычка — раз в квартал просматривать, на какие страницы ведёт больше всего ссылок внутри сайта, и сверять это с тем, какие страницы приносят заявки и продажи. Если приоритеты не совпадают, структуру ссылок стоит пересобрать.

Как проверить, что происходит на самом деле

Первый инструмент — отчёт о статистике сканирования в Search Console. Он показывает, сколько запросов в сутки делает робот, как быстро отвечает сервер и какие коды ответов получает. Резкий рост ошибок или времени ответа — повод разбираться сразу.

Второй, более глубокий источник — логи сервера. По ним видно, какие адреса робот посещает чаще всего. Если основная доля визитов приходится на фильтры и параметры, а ключевые категории заходят редко, внимание робота нужно перераспределить: закрыть лишнее и усилить ссылки на нужное.

С чего начать

Не пытайтесь «увеличить» бюджет напрямую. Сначала выясните, куда он уходит: посмотрите статистику сканирования, выгрузите список адресов с параметрами и дублями, проверьте скорость ответа сервера. Часто достаточно нескольких правок в robots.txt, canonical и структуре ссылок, чтобы новые страницы стали индексироваться заметно быстрее.

Если у вас большой каталог или портал и вы не уверены, где утекает внимание робота, команда markdev может провести технический аудит в рамках SEO-оптимизации сайта в Узбекистане и предложить порядок работ. Напишите нам, и мы обсудим вашу задачу.