Зачем Битриксу отдельная настройка robots.txt
Файл robots.txt лежит в корне сайта и подсказывает роботам, какие адреса сканировать не нужно. У робота ограниченное время на каждый сайт, и чем больше мусорных адресов он находит, тем позже доходит до страниц, которые приносят заявки. Для интернет-магазина с каталогом и фильтрами это особенно заметно.
В модуле поисковой оптимизации Битрикса есть редактор robots.txt с готовыми заготовками. Это хорошая отправная точка, но не готовое решение: структура разделов, шаблон и подключённые компоненты у каждого сайта свои. Каждое правило стоит прочитать и понять, прежде чем принимать.
Что закрывать в robots для индексации Битрикс
Обычно закрывают три группы адресов: технические папки, пользовательские страницы без ценности для поиска и адреса с параметрами.
- папки ядра и административной части, например /bitrix/, но без файлов, нужных для отрисовки страниц
- служебные каталоги вроде /local/ и /cgi-bin/, а также тестовые разделы, если они остались
- корзина и оформление заказа, в том числе страницы возврата после оплаты через Click или Payme
- личный кабинет, вход, регистрация, восстановление пароля
- сравнение товаров и избранное
- результаты внутреннего поиска по сайту
- версии страниц для печати
Что закрывать нельзя
Google оценивает страницу так, как её увидит человек в браузере. Если закрыть стили и скрипты, робот получит «голый» текст и может счесть страницу неудобной для мобильных. Шаблоны чаще всего лежат в /bitrix/templates/ или /local/templates/, поэтому закрывать папку целиком опасно: оставьте доступ к CSS и JS.
Не закрывайте изображения товаров, если вам важен трафик из поиска по картинкам, и проверьте, что запрет на папку /upload/ не накрывает фотографии каталога. Страницы пагинации тоже лучше оставить открытыми, если к части товаров можно добраться только через них. И конечно, не закрывайте разделы, которые вы продвигаете: звучит очевидно, но такая ошибка встречается.
Параметры адресов: Disallow, Clean-param и canonical
Сортировка, число товаров на странице, вид отображения, служебные параметры авторизации и печати создают отдельный адрес с тем же содержимым. Для таких параметров пишут правила Disallow со звёздочкой. Главное — аккуратно составить маску: слишком широкое правило заденет и нужные страницы.
У Яндекса есть директива Clean-param. Она сообщает, что параметр не меняет содержимое, и робот склеивает такие адреса с основным. Это мягче полного запрета и подходит для рекламных меток и сортировки. Google эту директиву не использует, для него дубли решаются через canonical. Если фильтр вы осознанно продвигаете, например «диваны в Ташкенте», такая страница должна остаться открытой и иметь собственный адрес.
Запрет не удаляет страницу из поиска
Частая путаница: robots.txt запрещает сканирование, а не индексацию. Если страница уже в индексе и вы просто закрыли её, она может остаться в выдаче с пустым описанием. Робот больше не заходит и не видит перемен.
Чтобы убрать страницу из поиска, оставьте её доступной для сканирования и поставьте мета-тег noindex. Когда она выпадет из индекса, при необходимости добавьте запрет в robots.txt.
Несколько сайтов и типичные ошибки
Если на одной установке работают русская и узбекская версии, например на отдельном поддомене, файл может быть общим. Тогда проверьте, что каждый домен отдаёт собственные правила и свою строку Sitemap, а не карту соседнего сайта. В конце файла всегда указывайте полный адрес карты; если карт несколько, укажите индексный файл.
Самые частые ошибки на Битриксе: после переноса с тестового сервера остался Disallow для всего сайта, закрыта папка с картинками, правило с параметром задело нужные страницы, перепутаны файлы разных сайтов.
Как проверить файл перед сохранением
Откройте адрес вашдомен/robots.txt и убедитесь, что файл отдаётся с кодом 200. Затем вставьте его в инструмент анализа robots.txt в Яндекс Вебмастере и проверьте список адресов: главная, разделы, карточки товаров, статьи должны быть разрешены, а корзина, кабинет и адреса с сортировкой — запрещены. После публикации загляните в отчёт о robots.txt в Search Console.
Если сомневаетесь в текущем файле, команда markdev может посмотреть его в рамках SEO-оптимизации сайта в Узбекистане и подсказать, что поправить. Напишите нам, и обсудим вашу задачу.
Частые вопросы
Где редактировать robots.txt в Битриксе?
Файл можно править через хостинг или через редактор в модуле поисковой оптимизации. Готовые заготовки редактора нужно сверить со структурой своего сайта.
Можно ли закрыть папку /bitrix/ целиком?
Нет. В ней или рядом лежат стили и скрипты шаблона, нужные для отрисовки. Закрывайте технические подпапки, а CSS, JS и изображения оставляйте доступными.
Нужно ли закрывать пагинацию каталога?
Часто нет. Если к товарам можно перейти только через страницы пагинации, их закрытие осложнит поиск товаров роботом. Решение зависит от структуры каталога и карты сайта.
Страница закрыта в robots.txt, но осталась в поиске. Почему?
Запрет не удаляет страницу из индекса. Откройте её для сканирования, добавьте noindex и дождитесь выпадения, затем при необходимости закройте в robots.txt.
Разберём вашу задачу бесплатно
Оставьте контакт — за 15 минут созвона покажем, где теряются заявки и что сделать в первую очередь.