Виртуальный и физический файл: какой из них работает
Если в корне сайта нет файла robots.txt, WordPress показывает виртуальный: он собирается на лету. Откройте в браузере адрес вашдомен.uz/robots.txt, и вы увидите базовые правила: админка закрыта, а служебный файл admin-ajax.php оставлен доступным, потому что на него опираются некоторые темы и плагины. SEO-плагины умеют добавлять в этот файл строку с картой сайта и дают редактор прямо в панели управления.
Если же вы загрузили физический файл в корень сайта, он полностью заменяет виртуальный. С этого момента правки в плагине ни на что не влияют. Это частая причина путаницы: владелец меняет правила в одном месте, а работает другое. Поэтому итог всегда проверяйте по реальному адресу /robots.txt, а не по настройкам в админке.
Что стоит закрывать в robots для WordPress
Хороший ориентир: у каждой строки запрета должен быть понятный ответ на вопрос «зачем роботу туда ходить?». Для большинства сайтов хватает короткого набора:
- Админка /wp-admin/, с исключением для admin-ajax.php
- Внутренний поиск по сайту, то есть адреса с параметром ?s=
- Для магазина на WooCommerce: корзина, оформление заказа и личный кабинет
- Служебные адреса с параметрами, которые создают дубли, если их нельзя решить через canonical или редиректы
- Строка Sitemap с адресом карты сайта
Пример: магазин с оплатой через Click и Payme
Представьте ташкентский магазин на WooCommerce, где покупатели платят через Click или Payme. Страницы корзины, оформления заказа и личного кабинета не несут ценности для поиска: никто не будет искать их в Google. Их разумно закрыть. А вот карточки товаров, категории и статьи блога должны оставаться полностью открытыми.
С фильтрами и сортировкой осторожнее. Если какие-то фильтры вроде «кроссовки белые» приводят людей из поиска, закрывать их глупо. Перед запретом посмотрите, какие из этих страниц получают переходы.
Что закрывать нельзя
Устаревшие шаблоны советуют закрыть папки wp-content и wp-includes целиком. Сегодня это ошибка. Там лежат стили, скрипты и изображения, а поисковик отрисовывает страницу почти так же, как браузер. Без доступа к ним он увидит «голый» текст и может решить, что сайт неудобен на телефоне. Для бизнеса, чьи клиенты часто приходят с телефона из Instagram или Telegram, это прямой риск.
Не закрывайте и папку с загруженными изображениями: фотографии товаров могут приводить трафик из поиска по картинкам. И не копируйте длинные чужие шаблоны с правилами для разделов, которых на вашем сайте нет.
Чего robots.txt не умеет и какая ошибка самая дорогая
Запрет в файле ограничивает сканирование, но не гарантирует исключение из индекса. Если на закрытую страницу ведут ссылки, она может остаться в выдаче без описания. Чтобы убрать страницу из поиска, используйте мета-тег noindex и оставьте страницу открытой для сканирования: иначе робот не увидит сам тег. Поэтому рубрики, метки и дубли, которые нужно скрыть, лучше убирать через noindex в настройках SEO-плагина, а не через robots.txt.
Старые директивы тоже потеряли смысл: например, указание главного зеркала Яндекс больше не использует, зеркала определяются редиректами и настройками в Вебмастере.
Самая дорогая ошибка: во время разработки сайт закрывают правилом Disallow: /, и после запуска о нём забывают. Результат один: сайт пропадает из поиска. Похожая ловушка есть в настройках чтения WordPress, галочка «Попросить поисковые системы не индексировать сайт». После каждого запуска или крупного обновления проверяйте оба места.
Как проверить файл
Проверка занимает несколько минут:
- Откройте /robots.txt в браузере и прочитайте содержимое
- Проверьте отчёт о файле robots.txt в Search Console
- Используйте анализ robots.txt в Яндекс Вебмастере для отдельных адресов
- Через проверку URL убедитесь, что важные страницы не попадают под запрет
Когда пересматривать правила
Возвращайтесь к файлу при подключении магазина, смене структуры адресов или появлении новых служебных разделов, и храните копию рабочей версии на случай переезда хостинга. Одна неверная строка способна закрыть от сканирования весь сайт, поэтому после каждой правки проверяйте результат.
Если хотите, чтобы специалист посмотрел robots.txt вместе с картой сайта, индексацией и структурой, команда markdev проводит SEO-оптимизацию сайтов в Узбекистане. Расскажите о своей задаче, и мы подскажем, с чего начать.
Частые вопросы
Нужен ли robots.txt, если сайт на WordPress маленький?
WordPress создаст виртуальный файл сам, и для небольшого сайта его базовых правил часто достаточно. Главное, добавить адрес карты сайта и убедиться, что нет случайного запрета на весь сайт.
Можно ли закрыть wp-content, чтобы скрыть картинки?
Закрывать папку целиком не стоит: вместе с картинками закроются стили и скрипты, и поисковик неправильно оценит страницу. Для отдельных файлов лучше использовать точечные правила или noindex.
Почему страница закрыта в robots.txt, но всё равно есть в поиске?
Запрет сканирования не удаляет страницу из индекса. Если на неё ведут ссылки, она может отображаться без описания. Уберите запрет и поставьте мета-тег noindex.
Как понять, какой файл работает: виртуальный или физический?
Откройте /robots.txt в браузере. Если вы загружали файл в корень сайта, работает он, а правки в SEO-плагине не действуют. Сравните содержимое адреса с тем, что видите в плагине.
Разберём вашу задачу бесплатно
Оставьте контакт — за 15 минут созвона покажем, где теряются заявки и что сделать в первую очередь.