Дубли страниц на сайте: как найти и убрать без потерь

Почему поисковик не считает дубли одной страницей

Для робота адрес — это идентификатор страницы. Если страница открывается и с www, и без него, и со слешем на конце, и без, поисковик видит несколько документов. Какой из них показывать в выдаче, он решает сам, и выбор не всегда совпадает с вашим. Бывает, что в результатах поиска оказывается версия с рекламной меткой или со случайным параметром сортировки.

Правило простое: одна страница — один адрес. Всё остальное нужно либо склеить, либо явно объяснить роботу, какая версия главная.

На небольшом сайте-визитке эффект почти незаметен. А в каталоге с фильтрами или у компании с большим числом услуг дубли способны разрастись так, что вручную с ними уже не справиться.

Откуда берутся дубли страниц

Чаще всего владелец бизнеса о них не подозревает: они появляются как побочный эффект движка, настроек сервера и рекламы. Вот типичные источники.

Отдельно стоит сказать о рекламе. Когда вы ведёте трафик из таргета в Instagram, из рассылки в Telegram или из Google Ads, ссылки получают метки. Если сайт настроен неаккуратно, каждая такая ссылка может превратиться в отдельный адрес в индексе.

Типичный пример из локального бизнеса: сайт с доставкой по стране, где страницы «Доставка в Самарканд», «Доставка в Бухару» и «Доставка в Андижан» отличаются одним словом. Для поисковика это почти одинаковые тексты, и ни одна из них не получает сильных позиций.

• Версии домена: с www и без, HTTP и HTTPS.
• Слеш на конце адреса: /uslugi и /uslugi/ как две разные страницы.
• Главная, которая открывается ещё и как /index.php или /home.
• Параметры в адресе: сортировка, фильтры, номер страницы, метки utm.
• Один товар в нескольких категориях с разными путями к карточке.
• Версии для печати и служебные копии страниц.
• Шаблонные страницы, где от города к городу меняется только название.

Чем дубли вредят бизнесу

Первое — размываются ссылки и другие сигналы. Если на страницу ссылаются партнёры и каталоги, но часть ссылок ведёт на вариант с www, а часть на вариант без него, вес делится между двумя адресами.

Второе — в выдачу попадает не та страница: например, версия без описания или с неудобной сортировкой. Покупатель заходит, не находит нужного и уходит.

Третье — робот тратит время на копии вместо новых страниц, поэтому свежие товары и статьи индексируются позже. Для интернет-магазина с фильтрами это особенно чувствительно.

Как найти дубли на сайте

Начинайте с простых проверок, они доступны без глубоких технических знаний.

Проверку стоит повторять после каждой смены движка, редизайна или переезда на новую структуру адресов — именно тогда дубли появляются чаще всего.

• Запустите краулер: он покажет страницы с одинаковыми заголовками, описаниями и содержанием.
• Откройте отчёт об индексации в Google Search Console и посмотрите страницы, исключённые как дубли, или те, у которых канонический адрес выбран не так, как вы задумывали.
• Введите в поиск site:вашсайт.uz и фрагмент текста в кавычках: если находится несколько адресов, это копии.
• Вручную проверьте варианты: откройте сайт с www и без, по HTTP и со слешем на конце.

Как устранить дубли: редирект, canonical, noindex

Выбор инструмента зависит от природы дубля.

Не применяйте к одной странице редирект и noindex одновременно и не ставьте canonical на случайный адрес: противоречивые сигналы путают робота сильнее, чем сам дубль.

• Постоянный редирект — для технических дублей: www и без, HTTP и HTTPS, слеш, /index.php. И посетитель, и робот всегда попадают на основной адрес.
• Канонический адрес (canonical) — для страниц, которые должны оставаться доступными, например с сортировкой или метками. В коде указывается основная версия, и поисковик учитывает именно её.
• Запрет индексации (noindex) — для служебных страниц и бесконечных комбинаций фильтров, которые не нужны в поиске.
• Уникальный контент — если страницы по городам или услугам действительно нужны, сделайте их разными по сути: условия, сроки, адреса, вопросы клиентов, а не только название города.
• Внутренние ссылки — меню, хлебные крошки и баннеры должны вести сразу на основной адрес, а не на его варианты.

Как не создавать дубли заново

Правила адресов лучше зафиксировать до разработки: с www или без, со слешем или без, как формируются адреса фильтров и товаров, лежащих в нескольких категориях. Передайте их разработчику в техзадании и проверьте результат перед запуском. Когда сайт уже работает, добавьте поиск дублей в регулярный аудит и в чек-лист после любых правок структуры.

Следите и за ежедневной работой с сайтом: когда контент-менеджер создаёт новую категорию или фильтр, убедитесь, что система не плодит лишние адреса.

Если нужна помощь, команда markdev занимается SEO-оптимизацией сайтов в Узбекистане: от технического аудита до исправления дублей и настройки адресов. Расскажите о своём сайте, и мы вместе решим, с чего начать.