robots.txt: что закрывать от роботов и как не убить сайт

Что такое robots.txt и зачем он нужен

robots.txt лежит в корне сайта (например, ваш-домен.uz/robots.txt) и сообщает поисковым роботам, какие разделы можно сканировать, а какие лучше обойти. Это не защита и не пароль: файл публичный, его читает любой, и добросовестные роботы просто следуют правилам.

Зачем это бизнесу. У робота ограниченное внимание к сайту, и лучше, чтобы он тратил его на каталог, карточки товаров и статьи, а не на корзину, внутренний поиск и служебные адреса. Особенно это заметно у интернет-магазинов и каталогов, где из одних фильтров рождаются сотни почти одинаковых адресов.

Директивы, которых обычно достаточно

Синтаксис простой, большинству сайтов хватает четырёх строк-команд. Минимальный пример для магазина на привычной CMS выглядит так:

• User-agent: * — правила для всех роботов; можно указать и конкретного, например Googlebot
• Disallow: /admin/ — запретить сканировать раздел
• Allow: — исключение внутри запрещённого раздела
• Sitemap: https://ваш-домен.uz/sitemap.xml — адрес карты сайта, чтобы роботы быстрее находили нужные страницы

Что имеет смысл закрывать

Закрывают то, что не должно приносить трафик из поиска и только засоряет сканирование. Представьте магазин одежды в Ташкенте с оплатой через Click и Payme: покупателю нужны корзина и оформление заказа, а поисковику — нет.

• панель администратора и служебные разделы
• корзину и оформление заказа
• личный кабинет
• результаты внутреннего поиска по сайту
• адреса с параметрами сортировки и меток отслеживания (например, из рекламных ссылок)
• технические страницы и дубли

Что закрывать нельзя

Роботу нужно видеть страницу так, как её видит человек. Если закрыть папки со стилями и скриптами, Google не сможет корректно оценить вёрстку и удобство на телефоне, а для сайта, который открывают в основном с мобильных, это серьёзный риск.

Не закрывайте и изображения, если хотите получать посетителей из поиска по картинкам: для товаров и услуг это бывает заметный источник. И конечно, основные разделы: каталог, услуги, блог, контакты. Звучит очевидно, но случайные запреты встречаются чаще, чем кажется.

Сканирование — не то же самое, что индексация

Главное недоразумение: Disallow запрещает роботу заходить на страницу, но не гарантирует, что её нет в поиске. Если на закрытый адрес ведут ссылки с других сайтов или из вашего меню, он может появиться в выдаче без описания.

Чтобы страница точно не попала в индекс, используйте метатег noindex. Но есть нюанс: робот должен иметь возможность зайти на страницу и прочитать этот тег. Если одновременно закрыть её в robots.txt, noindex просто не будет замечен. Поэтому для вывода из поиска выбирайте что-то одно по задаче, а не оба способа сразу.

Типичные ошибки и как проверить файл

Самая дорогая ошибка — строка Disallow: / . Её часто ставят на время разработки или на тестовой версии, чтобы сайт не попал в поиск, а после запуска забывают убрать. В итоге новый сайт неделями «не находится». Другие частые промахи: закрытые стили и скрипты, запрет раздела, который должен приносить заявки, опечатка в пути и отсутствие строки Sitemap.

Проверять файл нужно после каждого обновления сайта, смены CMS или переезда на другой хостинг. Google Search Console показывает, какую версию robots.txt видит Google и какие страницы заблокированы, а в Яндекс Вебмастере есть инструмент анализа robots.txt. Проверьте на конкретных важных адресах: главная, категория, карточка товара, статья.

С чего начать

Откройте ваш-домен.uz/robots.txt и посмотрите, что там написано сейчас. Если файла нет или в нём стоит Disallow: / — это первая задача. Дальше сверьте запреты со списком разделов, которые должны быть в поиске.

Мы в markdev обычно проверяем robots.txt в начале технического SEO-аудита, потому что одна строка здесь способна обесценить работу над контентом и рекламой. Если хотите, чтобы специалист посмотрел ваш сайт и подсказал, что закрыть, а что открыть, расскажите о задаче — обсудим.