Удаление страницы с сайта: 301, 404, 410 или noindex

Товар сняли с продажи, услугу закрыли, статью объединили с другой. Адрес остался во внутренних ссылках и поиске. Если просто удалить материал, сервер может показать пустую страницу с кодом 200 или отправить посетителя на главную. Оба решения создают путаницу.

Сначала определите судьбу содержания. От этого зависит, нужна ли переадресация страницы на другую страницу, ответ 404, ответ 410 или директива noindex (не индексировать).

Есть точная замена: настройте постоянное перенаправление

Если материал переехал на новый адрес или появился близкий аналог, используйте код 301. Посетитель сразу попадет на актуальную страницу, а поисковая система поймет, что старый адрес заменен новым.

Замена должна решать ту же задачу. Карточку снятой модели можно перенаправить на новую версию товара. Объединенную статью можно вести на полный материал. Отправлять все удаленные адреса на главную не стоит. Пользователь ожидал конкретный ответ, а получил общий раздел.

После настройки проверьте конечный адрес и исключите цепочку из нескольких переходов. Подробные правила есть в статье про редирект 301.

Замены нет: верните 404 или 410

Код 404 сообщает, что ресурс не найден. Он подходит для ошибочных адресов и страниц, у которых нет полезной замены. Код 410 сообщает, что ресурс удален окончательно. Оба ответа дают поисковику основание исключить адрес из индекса.

Сама страница ошибки может содержать меню, поиск и ссылки на популярные разделы. Это помогает посетителю продолжить работу с сайтом. При этом сервер обязан вернуть 404, а не 200. Иначе возникает мягкая ошибка 404: внешне страницы нет, но технически сервер сообщает об успешной загрузке. Подробнее о правильном ответе сервера и оформлении шаблона читайте в материале про ошибку 404.

Страница нужна людям, но не должна быть в поиске

Иногда удалять адрес нельзя. Например, пользователю нужна страница после оплаты, форма входа или служебный раздел. В этом случае можно запретить страницу к индексации с помощью метатега robots и директивы noindex.

Страница должна оставаться доступной роботу. Если одновременно закрыть ее в robots.txt, поисковик может не увидеть noindex. Для закрытых личных данных одной директивы недостаточно. Нужна авторизация, потому что поисковый запрет не защищает информацию от посетителей.

Canonical не удаляет страницу

Каноническая ссылка на страницу нужна для похожих или дублирующихся адресов. Она подсказывает, какой вариант считать основным. Это не команда удалить документ и не замена коду 301.

Если старый адрес больше не нужен и есть точная замена, настройте 301. Если адрес должен открываться, но основной версией считается другой документ, можно использовать canonical (канонический адрес). 

Что проверить после удаления страницы

• старый адрес возвращает выбранный код без ошибок;
• переход ведет сразу на релевантную страницу;
• удаленный адрес исключен из XML карты сайта;
• внутренние ссылки ведут на действующие страницы;
• на новой странице нет случайного noindex;
• адрес проверен в панелях поисковых систем.

Чтобы проверить страницу на ошибки, смотрите не только то, что отображается в браузере. Проверьте код ответа, цепочку переходов, canonical, robots и наличие адреса в карте сайта.

Как убрать старый адрес из поиска быстрее

Поисковая система удалит несуществующую страницу после повторного обхода. Срок зависит от частоты посещения сайта роботом. Ускорить процесс можно через инструмент удаления страниц в Яндекс Вебмастере, но сначала адрес должен возвращать подходящий код или содержать запрет на индексацию.

Вопрос «как удалить страницу 404 из поиска» часто возникает из-за отчета Вебмастера. Наличие адреса в отчете не означает, что он продолжает ранжироваться. Сначала проверьте выдачу и дату последнего обхода, затем исправляйте причину.

Часто задаваемые вопросы об удалении страниц (FAQ)

Что выбрать для удаленной страницы: 404 или 410?
Используйте 404, если адрес не найден или его судьба несущественна. Код 410 подходит, когда ресурс удален окончательно. Главное, чтобы сервер не возвращал код 200.

Нужно ли перенаправлять удаленную страницу на главную?
Нет, если главная не заменяет удаленный материал. Настраивайте 301 только на близкую по смыслу страницу.

Можно ли закрыть удаленную страницу в robots.txt?
Можно ограничить обход, но для понятного удаления лучше вернуть 404 или 410. Если используется noindex, робот должен иметь доступ к странице и увидеть директиву.

Когда нужно не индексировать страницу, а не удалять ее?
Когда документ нужен посетителям, но не должен участвовать в поиске. Например, это может быть служебная страница или результат действия пользователя.

Поможет ли canonical убрать страницу из поиска?
Canonical указывает предпочтительный адрес среди похожих документов. Для удаленного или перемещенного материала применяют подходящий код ответа или перенаправление.