Что делает noindex и чем он отличается от robots.txt
У поисковика два разных этапа: обход страницы и добавление её в индекс. Файл robots.txt управляет первым этапом: он говорит роботу, куда заходить не нужно. Noindex управляет вторым: робот страницу читает, но в базу поиска не включает.
Поэтому noindex работает точечно, на уровне одного документа, и не требует правки общего файла правил. Это удобно, когда страниц много, а сайт живёт на конструкторе или CMS, где robots.txt трогать неудобно.
Какие страницы обычно закрывают
Хороший ориентир — вопрос: хотел бы я, чтобы человек попал на эту страницу прямо из поиска? Если нет, но сайту она нужна, это кандидат на noindex. Например, интернет-магазин с оплатой через Click или Payme создаёт страницу подтверждения заказа, и в выдаче она только путает людей.
- результаты внутреннего поиска по сайту
- корзина, оформление заказа, личный кабинет
- страницы «Спасибо» после заявки или оплаты
- служебные версии для печати и сравнения товаров
- тестовые и черновые страницы, случайно опубликованные
- тонкие страницы тегов, дублирующие рубрики
Два способа прописать запрет
Первый способ — мета-тег в блоке head страницы: name="robots", content="noindex". Второй — HTTP-заголовок X-Robots-Tag, который сервер отдаёт вместе с ответом. Заголовок нужен для файлов, где мета-тег не вставить: например, PDF с прайсом или внутренней инструкцией, который неожиданно попал в поиск.
Если нужно обратиться к одному поисковику, вместо robots в name указывают имя робота, например googlebot или yandex. На практике страницу обычно скрывают от всех сразу.
Значение nofollow для служебных страниц чаще всего лишнее. Страница с одним noindex остаётся проходом для робота: он по-прежнему находит по её ссылкам другие разделы.
Главная ловушка: noindex вместе с Disallow
Самая частая ошибка — закрыть страницу в robots.txt и одновременно поставить на неё noindex. Робот, которому запрещён обход, страницу не открывает и мета-тег не видит. Если на адрес есть внешние ссылки, он может остаться в индексе, хотя содержимое поисковик не читал.
Правильный порядок такой: сначала ставим noindex и оставляем обход открытым, ждём, пока страница уйдёт из индекса, и только потом, если действительно нужно сэкономить ресурсы робота, закрываем раздел в robots.txt. Не стоит также закрывать пагинацию каталога целиком: через неё робот находит товары.
Ошибки, из-за которых падает трафик
Хуже всего, когда noindex попадает в шаблон. Тогда он расходится не на одну страницу, а на сотни. Типичные сценарии:
- тег остался в шаблоне после разработки и закрыл весь сайт
- SEO-плагин после обновления поставил noindex на рубрики или товары
- в CMS включена галочка «не индексировать сайт»
- страница с noindex указана в sitemap, и сигналы противоречат друг другу
- canonical ведёт на страницу с noindex
- запрет добавляется через JavaScript, который робот выполняет не сразу
Как проверить, что запрет работает
Откройте исходный код страницы и найдите мета-тег robots; убедитесь, что он один и значения не спорят друг с другом. Заголовок X-Robots-Tag виден в инструментах разработчика браузера на вкладке с ответом сервера. Затем проверьте адрес в инструменте проверки URL в Google Search Console и в Яндекс Вебмастере: там видно, замечает ли поисковик запрет.
Из индекса страница уходит не мгновенно, робот должен обойти её заново. Ускорить процесс можно, отправив адрес на переобход. После каждого релиза имеет смысл быстро проверять главные страницы услуг и категорий: именно там случайный noindex обходится дороже всего.
Когда noindex не подходит
Если страница удалена навсегда и у неё есть замена, настройте 301-редирект. Если это дубль основной страницы, нужна canonical-ссылка. Если на странице закрытая информация, нужен пароль: noindex прячет страницу из поиска, но не от тех, у кого есть ссылка.
Если вы не уверены, какие страницы сайта стоит скрыть, а какие, наоборот, продвигать, это можно выяснить в рамках SEO-аудита. Команда markdev занимается SEO-оптимизацией сайтов в Узбекистане, и мы можем посмотреть ваш сайт и обсудить задачу.
Частые вопросы
Через сколько страница пропадёт из поиска после noindex?
Точного срока нет: страница уходит из индекса, когда робот заново её обойдёт и увидит запрет. Ускорить можно запросом на переобход в Search Console или Вебмастере.
Можно ли писать noindex в robots.txt?
Нет. Google не поддерживает noindex внутри robots.txt, поэтому такая строка ничего не даст. Директиву нужно ставить на самой странице или в HTTP-заголовке.
Нужно ли ставить noindex, nofollow на страницу корзины?
Обычно достаточно одного noindex. Nofollow превращает страницу в тупик для робота, а ссылки с неё могут помогать находить другие разделы сайта.
Как скрыть PDF-файл от поиска?
В PDF нет блока head, поэтому используется HTTP-заголовок X-Robots-Tag: noindex. Его настраивают на стороне сервера, например в конфигурации nginx или Apache.
Разберём вашу задачу бесплатно
Оставьте контакт — за 15 минут созвона покажем, где теряются заявки и что сделать в первую очередь.