Яндекс Вебмастер: удаление страниц из поиска пошагово

Когда страницу нужно убрать из выдачи

Ситуации знакомы многим владельцам сайтов в Ташкенте и регионах. Интернет-магазин снял товар, а карточка со старой ценой в сумах всё ещё находится в поиске. Клиника или учебный центр загрузили на сайт скан анкеты, и он открылся по прямой ссылке. Разработчик оставил тестовый раздел, а менеджеры принимают звонки по акции, которой давно нет.

Ждать, пока робот сам заметит изменения, можно неделями, а ущерб для репутации наступает сразу. Для таких случаев в Вебмастере есть инструмент удаления. Он ускоряет исключение страницы из индекса, но не заменяет работу на самом сайте: сначала страницу закрывают, потом просят поисковик её забыть.

Условия: что сделать до запроса

Инструмент не удаляет живые открытые страницы. Если адрес отдаёт код 200 и доступен роботу, запрос будет отклонён. Достаточно выполнить одно из условий:

Проверяйте код ответа специальным сервисом, а не глазами в браузере: сайт нередко показывает посетителю заглушку «страница не найдена», а роботу отдаёт 200. Так же не считается удалением редирект несуществующих адресов на главную.

• страница возвращает код 404 или 410, то есть действительно удалена;
• в коде страницы стоит мета-тег robots со значением noindex;
• адрес закрыт в файле robots.txt директивой Disallow.

Яндекс Вебмастер: удаление страниц из поиска по шагам

Порядок действий короткий:

Удаление происходит не мгновенно, но обычно быстрее, чем при естественном обходе. Если запрос отклонён, причина почти всегда в невыполненном условии: исправьте и отправьте повторно. Учтите, что инструмент работает только с сайтами, которые подтверждены в вашем аккаунте.

• Убедитесь, что страница закрыта одним из трёх способов выше.
• Откройте нужный сайт в Яндекс Вебмастере и найдите инструмент удаления страниц из поиска.
• Введите полный адрес страницы.
• Отправьте запрос и следите за его статусом.

Удаление раздела по префиксу

Когда нужно убрать целую папку, например /test/ или /old-sale/, вносить адреса по одному необязательно: инструмент принимает префикс. Для этого раздел должен быть закрыт в robots.txt.

Перед отправкой перечитайте префикс. Слишком короткий захватит нужные страницы: если вместо /test/ указать /te, под удаление может попасть и /tehnika/. Если страницы раздела нужны посетителям, но не поиску, лучше закрыть их через noindex, а не удалять.

Какой способ закрытия выбрать

Выбор зависит от судьбы страницы:

Если цель — убрать страницу навсегда, надёжнее noindex или 404, чем один только robots.txt. При запрете обхода робот не видит, что страница изменилась, и адрес может вернуться в выдачу по внешним ссылкам. Для Google есть ещё нюанс: если страница закрыта и в robots.txt, и noindex, Google не прочитает noindex, и страница может остаться в его результатах.

• страница не нужна и замены нет — код 404 или 410;
• страница нужна посетителям, но не поиску (корзина, личный кабинет, фильтры) — noindex;
• страница переехала на новый адрес — 301-редирект, удалять старый адрес инструментом не нужно;
• служебный раздел целиком — Disallow в robots.txt и удаление по префиксу.

Личные данные в выдаче и Google

Если в поиск попали паспортные данные, телефоны клиентов или медицинские документы, порядок такой: уберите файл с сервера или закройте доступ паролем, затем отправьте запрос на удаление, затем проверьте, нет ли копий в других разделах сайта, выгрузках и рабочих чатах. Одно только удаление из поиска не закрывает доступ по прямой ссылке.

У Google свои правила. В Search Console есть инструмент временного скрытия адресов: он убирает страницу из результатов на ограниченный срок, и за это время её нужно закрыть на сайте окончательно. Поэтому действуйте связкой: закрытие на сайте плюс запросы в обоих сервисах.

Если ваши данные опубликованы на чужом ресурсе, инструмент не поможет. Сначала напишите владельцу сайта, а после удаления у источника сообщите Яндексу об устаревшей копии через формы поддержки.

Почему страница вернулась и как проверить результат

Причины обычно бытовые:

Через несколько дней после запроса найдите страницу в Яндексе по точному адресу или фрагменту текста и посмотрите в Вебмастере, в разделе страниц в поиске, отмечена ли она исключённой. Если нет, проверьте условия и отправьте запрос ещё раз.

Порядок в индексации зависит от устройства сайта: корректные коды ответа, управляемый robots.txt, понятная CMS. Эти вещи лучше закладывать при разработке. markdev делает сайты под ключ в Узбекистане и может разобрать вашу ситуацию с индексацией — напишите нам, обсудим задачу.

• страницу снова открыли: сняли noindex или восстановили файл;
• адрес закрыт только в robots.txt, а ссылки на него остались;
• есть другой вариант адреса: с www, со слешем, с параметром;
• CMS создаёт страницу заново, как это бывает с архивами тегов.