Индексация сайта: почему страницы не попадают в поиск

Что происходит со страницей до попадания в индекс

Сначала робот должен узнать адрес: он находит его по ссылке с другой страницы или в карте сайта. Затем загружает страницу, разбирает содержимое и, если нужно, выполняет скрипты. После этого поисковик решает, стоит ли добавлять её в индекс. Решение зависит от доступности страницы, её уникальности и полезности.

Важно различать три состояния: «робот знает адрес», «робот страницу загрузил» и «страница в индексе». Это разные вещи. На любом шаге страница может остановиться, и именно поэтому владелец сайта часто видит опубликованную страницу, которую невозможно найти в Google или Яндексе. Попадание в индекс также не гарантирует высокие позиции: это только допуск к конкурсу.

Почему страницы не индексируются

На практике причины почти всегда технические или связаны с качеством. Чаще всего встречаются такие:

• запрет в robots.txt или метатег noindex, который остался после разработки сайта;
• канонический адрес указывает на другую страницу, и поисковик считает текущую копией;
• страница дублирует другую, например одинаковые карточки товара в разных разделах;
• сервер отвечает ошибкой или слишком медленно, и робот уходит ни с чем;
• на страницу нет ни одной внутренней ссылки, её нет и в карте сайта;
• контента мало или он слабый: пара строк и фотография без описания;
• сайт совсем новый, и робот просто ещё не дошёл до всех разделов.

Какие страницы лучше закрыть от индекса

Не всё, что есть на сайте, должно попадать в поиск. Возьмём интернет-магазин одежды в Ташкенте: корзина, страница оформления заказа с оплатой через Click или Payme, личный кабинет, результаты внутреннего поиска и бесконечные комбинации фильтров по размеру, цвету и цене никому не нужны в выдаче. Если их оставить открытыми, робот тратит время на мусор, а действительно важные категории и карточки обходит реже.

Есть тонкость: robots.txt запрещает обход, но не всегда убирает адрес из выдачи. Чтобы страницу исключить из индекса, используют метатег noindex, и при этом её нельзя закрывать в robots.txt, иначе робот не прочитает сам тег. Для дублей чаще подходит канонический адрес.

Как проверить индексацию

Главный инструмент для Google — Search Console. В отчёте об индексировании видно, какие страницы в индексе, какие исключены и по какой причине. Для Яндекса то же самое показывает Вебмастер. Если нужно проверить один адрес, используйте инструмент проверки URL: он покажет, видит ли робот страницу и как её отображает.

Оператор site: в строке поиска даёт лишь приблизительную картину, ориентироваться на него как на точную цифру нельзя. Смотрите именно отчёты и обращайте внимание на статусы вроде «обнаружена, но не проиндексирована»: они часто означают, что у поисковика нет уверенности в ценности страницы.

Как ускорить индексацию новых страниц

Работает простая последовательность действий, никакой магии в ней нет:

• добавьте страницу в актуальную карту сайта;
• поставьте на неё ссылки с уже проиндексированных страниц: из каталога, блога, с главной;
• запросите индексацию в Search Console и переобход в Вебмастере;
• для Яндекса подключите протокол IndexNow, чтобы сообщать о новых адресах сразу;
• убедитесь, что страница открывается быстро и отдаёт нормальный ответ сервера.

Типичные ошибки на сайтах малого и среднего бизнеса

Самая частая ситуация: сайт запускали на тестовом адресе с запретом индексации, а после переноса на рабочий домен запрет не сняли. Вторая — русская и узбекская версии существуют, но не связаны между собой, поэтому поисковик видит дубли. Третья — важный текст подгружается только скриптом, и робот получает пустую оболочку.

Ещё одна ловушка: ссылки из Instagram и Telegram-канала приводят живых людей, но не заменяют внутреннюю структуру сайта. Если страница услуги не связана с остальным сайтом, поисковику сложно понять её значение.

Скорость индексации тоже зависит от истории. На сайте, который давно в индексе, регулярно обновляется и хорошо перелинкован, новые страницы подхватываются быстрее, чем на только что запущенном. Поэтому после публикации каждой важной страницы проверяйте её статус, а раз в месяц просматривайте отчёт об исключённых страницах.

С чего начать

Откройте Search Console и Вебмастер, выпишите важные страницы, которых нет в индексе, и для каждой определите причину из списка выше. Чаще всего хватает нескольких правок: снять лишний запрет, добавить ссылки, усилить содержание.

Если сайт большой или причину найти не удаётся, технический аудит сэкономит недели догадок. Команда markdev занимается SEO-оптимизацией сайтов в Узбекистане: мы можем посмотреть ваши отчёты и подсказать, что мешает страницам попасть в поиск. Напишите нам, и обсудим вашу задачу.