Screaming Frog: как провести технический аудит сайта

Зачем бизнесу Screaming Frog

Сайт компании в Ташкенте или в регионе редко ломается разом. Чаще он стареет понемногу: подрядчик поменял шаблон, менеджер удалил товар, кто-то переехал на новый домен или добавил русскую и узбекскую версии. Каждая такая правка оставляет за собой битые ссылки, дубли и закрытые от индексации страницы. Человек их не замечает, а поисковый робот замечает.

Screaming Frog полезен тем, что показывает сайт целиком, а не по одной странице. Вы получаете список всех адресов, которые робот смог найти, и по каждому видите, как он отвечает и что на нём написано. Это основа технического SEO-аудита, с которого разумно начинать любое продвижение.

Что собирает краулер

После обхода программа раскладывает данные по вкладкам. Вот что стоит смотреть в первую очередь:

• Коды ответа: рабочие страницы, ошибки 404, ошибки сервера, редиректы и их цепочки.
• Title, description и H1: пустые, повторяющиеся, слишком длинные, отсутствующие.
• Canonical и директивы robots: куда страница ссылается как на главную версию и не закрыта ли она от индекса.
• Внутренние ссылки: какие из них битые и какие страницы остались вообще без ссылок с других страниц.
• Глубина: сколько кликов от главной нужно, чтобы дойти до страницы.
• Изображения: тяжёлые файлы и картинки без alt.
• Время ответа и размер страниц.

Как настроить обход, чтобы не навредить

Перед запуском решите, что именно вы проверяете. Для небольшого сайта-визитки достаточно обойти всё. Для интернет-магазина с фильтрами и сортировками обход без ограничений превратится в десятки тысяч почти одинаковых адресов, и разобраться в них будет трудно. Исключите параметры сортировки и служебные разделы, чтобы отчёт остался читаемым.

Скорость обхода лучше снизить, если сайт стоит на недорогом хостинге: агрессивный краулер может замедлить его для реальных покупателей. Если сайт построен на JavaScript, включите режим отрисовки, иначе программа увидит пустой каркас, а не то, что видит браузер. Сравните исходный HTML с отрисованной версией: расхождения покажут, что именно робот может не получить.

Как читать отчёт и расставлять приоритеты

Первый обход почти всегда выдаёт сотни замечаний, и это нормально. Не пытайтесь исправить всё подряд. Работайте от серьёзного к мелкому.

Сначала проверьте индексацию: нет ли важных страниц с noindex, не закрыт ли раздел каталога в robots.txt, не ведёт ли canonical на чужой адрес. Затем разберите ошибки сервера и битые внутренние ссылки, особенно в меню, футере и карточках товаров. Эти элементы повторяются на каждой странице, поэтому одна правка в шаблоне убирает сотни замечаний сразу. После этого перейдите к дублям и повторяющимся title: они часто указывают на то, что одна и та же страница доступна по нескольким адресам. Мелочи вроде длины description оставьте напоследок.

Типичные находки на сайтах в Узбекистане

Чаще всего встречаются две проблемы. Первая связана с языковыми версиями: русская и узбекская страницы существуют, но не связаны между собой, а у части адресов нет единых правил, или версия на одном языке дублирует другую. Краулер быстро покажет, где заголовки совпадают, а где версия вовсе отсутствует.

Вторая — «хвосты» после изменений: товары, снятые с продажи, но всё ещё доступные по ссылке, старые акционные страницы, редиректы, которые ведут на другие редиректы. Если страница больше не нужна, настройте переадресацию на ближайший по смыслу раздел, а не на главную. Для товаров, которых нет в наличии, решите заранее: оставить страницу с пометкой или убрать.

Как встроить аудит в работу

Краулер показывает техническое состояние, но не отвечает на вопрос, какие страницы приносят заявки и продажи. Поэтому результаты обхода стоит сопоставлять с аналитикой и с реальными целями бизнеса: если проблемная страница ничего не приносит, она не должна занимать первое место в списке задач.

Повторяйте обход регулярно, а также после крупных изменений: редизайна, смены платформы, переезда на другой домен. Сохраняйте результаты, чтобы сравнивать их между собой и видеть, исчезают ли старые проблемы и не появляются ли новые.

Если нужна помощь с приоритетами или вы не уверены, какие замечания реально влияют на заявки, команда markdev может разобрать результаты аудита и встроить их в маркетинговую стратегию. Расскажите о своём сайте и задаче, и мы подскажем, с чего начать.