Что означает disallow all
В корне домена лежит файл robots.txt. Чтобы закрыть сайт целиком, в нём пишут две строки: «User-agent: *» и «Disallow: /». Первая обращается ко всем роботам, вторая закрывает все адреса, начиная с корня. Настройка занимает минуту, поэтому её так часто добавляют в тестовую версию.
Важно понимать, что robots.txt — это просьба не заходить на страницы, а не гарантия, что адрес не появится в поиске. Если кто-то отправил ссылку на тестовый сайт в рабочем чате, Telegram-канале или письме, поисковик может добавить адрес в индекс без описания. Добросовестные роботы поисковых систем правила соблюдают, но остальные боты могут их проигнорировать.
Три способа закрыть сайт и их ограничения
Кроме robots.txt, есть ещё два способа, и у каждого свои особенности.
- Disallow в robots.txt: быстро, но адреса могут попасть в индекс по внешним ссылкам
- Noindex в мета-теге или в заголовке X-Robots-Tag: робот открывает страницу, видит запрет и не показывает её в выдаче
- Пароль на уровне сервера (HTTP-авторизация) или доступ по IP: робот получает отказ и не видит содержимого вообще
Почему нельзя ставить Disallow и noindex одновременно
Это частая путаница. Если страница закрыта в robots.txt, робот на неё не заходит и не читает мета-тег noindex. Получается, что запрет на показ не работает, а адрес всё равно может всплыть из-за внешней ссылки. Если нужно именно убрать страницы из выдачи, оставьте обход открытым и поставьте noindex. А для разработки проще и надёжнее использовать пароль.
Что выбрать для интернет-магазина или лендинга
Представьте, что студия делает интернет-магазин с оплатой через Click и Payme. На тестовом поддомене лежат фиктивные товары, тестовые цены и заглушки вместо текстов. Здесь лучше всего подходит пароль: сайт видят только вы и команда, а посторонние и роботы получают отказ. Заодно закрыты и тестовые заказы, и данные.
Если же сайт нужно показать партнёрам по ссылке, добавьте noindex в общий шаблон. Сочетание пароля и noindex страхует на случай, если пароль снимут раньше времени. И помните: вести на закрытый сайт рекламу из Instagram или Google нельзя, поэтому запуск рекламы всегда идёт после снятия запретов.
Самая дорогая ошибка — забыть открыть сайт
Чаще всего проблемы возникают не при закрытии, а при запуске. Тестовую версию переносят на рабочий домен вместе с robots.txt, где остался «Disallow: /», или с включённой в CMS галочкой, скрывающей сайт от поисковиков. Сайт работает, реклама приводит людей, а в поиске его нет. Владелец замечает это только по отсутствию заказов из органики.
Добавьте в чек-лист запуска отдельные пункты:
- открыть robots.txt рабочего домена и убедиться, что общего запрета нет
- посмотреть исходный код главной и нескольких внутренних страниц: нет ли noindex
- выключить в настройках CMS опцию, скрывающую сайт от поисковиков
- снять парольную защиту и проверить, что страницы отдают обычный ответ
- отправить sitemap в Google Search Console и Яндекс Вебмастер
- проверить главную инструментом проверки URL
Если тестовая версия уже попала в индекс
Сначала закройте доступ паролем или поставьте noindex, оставив обход открытым, чтобы робот увидел запрет. Затем воспользуйтесь временным удалением адресов в Search Console и инструментом удаления страниц в Яндекс Вебмастере. Если тест жил на поддомене основного сайта, права на этот поддомен нужно подтвердить отдельно.
Как договориться с подрядчиком
Пропишите в задании, где будет жить тестовая версия, как она закрывается и кто снимает запреты при запуске. Попросите доступ к тестовому домену, чтобы самим убедиться, что сайт закрыт паролем, а не только файлом robots.txt. После запуска сохраните копию рабочего robots.txt: при следующих доработках будет с чем сравнить.
Если хотите, чтобы запуск сайта не стоил вам потерянного трафика, команда markdev поможет с технической проверкой и SEO-оптимизацией сайта в Узбекистане. Напишите нам, и мы обсудим вашу задачу.
Частые вопросы
Что делает Disallow: / в robots.txt?
Вместе со строкой «User-agent: *» она просит все поисковые роботы не обходить ни одной страницы сайта. Это закрывает обход, но не гарантирует, что адрес не окажется в индексе по внешней ссылке.
Чем noindex отличается от Disallow?
Disallow запрещает роботу заходить на страницу, а noindex разрешает зайти, но просит не показывать её в выдаче. Если использовать оба, робот не прочитает noindex.
Что лучше закрывает тестовый сайт: robots.txt или пароль?
Пароль. Робот и посторонние люди получают отказ и не видят содержимого, а защита не зависит от того, послушается ли бот правил.
Почему новый сайт не виден в поиске после запуска?
Частая причина — забытые запреты: Disallow: / в robots.txt, noindex в шаблоне или настройка CMS, скрывающая сайт. Проверьте их в первую очередь.
Разберём вашу задачу бесплатно
Оставьте контакт — за 15 минут созвона покажем, где теряются заявки и что сделать в первую очередь.