Clean-param в robots.txt: как уменьшить количество дублей в индексе

Интернет-магазины, каталоги и сайты с фильтрами часто создают большое количество URL с параметрами. Например:

/catalog/?sort=price
/catalog/?sort=rating
/catalog/?utm_source=yandex

Содержимое таких страниц может почти не отличаться. Но робот воспринимает их как отдельные адреса и тратит время на обход каждого варианта. В результате индекс разрастается, а полезные страницы обходятся медленнее.

Для таких ситуаций Яндекс поддерживает директиву Clean-param в файле robots.txt. Она подсказывает роботу, какие параметры можно игнорировать при обработке URL.

Что такое Clean-param

Clean-param – это директива robots.txt для Яндекса. Она сообщает поисковому роботу, что определённые параметры в URL не меняют содержимое страницы и могут игнорироваться.

Например, если на сайте используется параметр сортировки ?sort=, можно указать:

Clean-param: sort /catalog/

В этом случае Яндекс будет понимать, что страницы:

/catalog/?sort=price
/catalog/?sort=name

относятся к одной группе URL и не требуют отдельной обработки как полностью самостоятельные страницы.

Важно понимать: Clean-param не запрещает индексацию напрямую и не заменяет rel="canonical". Директива лишь помогает Яндексу корректнее работать с параметрами URL.

Когда стоит использовать Clean-param

Чаще всего директива нужна сайтам с динамическими параметрами в адресах страниц.

Самый типичный пример – параметры сортировки:

?sort=price
?sort=popular
?sort=rating

Товары остаются теми же, меняется только порядок отображения. Для поискового индекса отдельные URL здесь обычно не нужны.

Вторая распространенная ситуация – UTM-метки:

?utm_source=yandex
?utm_medium=cpc

Такие параметры используются для аналитики и рекламы, но не меняют содержимое страницы. Их часто добавляют в Clean-param.

Третья ситуация – технические идентификаторы сессий и служебные параметры CMS. Они могут создавать большое количество URL-копий одной страницы.

А вот с фильтрами и пагинацией нужно быть осторожнее. Если параметр действительно меняет набор товаров или создаёт полезную посадочную страницу, игнорировать его нельзя.

Как правильно прописывать Clean-param

Базовый синтаксис выглядит так: Clean-param: параметр путь

Например: Clean-param: sort /catalog/

Это означает, что параметр sort нужно игнорировать для URL внутри раздела /catalog/.

Если параметров несколько, Яндекс позволяет перечислять их через амперсанд:

Clean-param: utm_source&utm_medium&utm_campaign /

Тогда робот будет игнорировать рекламные метки на всём сайте.

Обычно директиву размещают в нижней части robots.txt после основных правил индексации. Например:

User-agent: Yandex
Disallow: /search/

Clean-param: sort /catalog/
Clean-param: utm_source&utm_medium /

После изменения robots.txt полезно проверить файл через инструменты Яндекс Вебмастера.

Чем Clean-param отличается от canonical

Эти инструменты решают похожие задачи, но работают по-разному.

Clean-param действует на уровне robots.txt и помогает Яндексу понимать параметры URL.

Canonical указывается внутри HTML-кода страницы и показывает предпочтительный адрес страницы для поисковых систем.

Например, если существует несколько URL с параметрами, canonical помогает указать основную версию:

<link rel="canonical" href="https://site.ru/catalog/" />

На практике эти методы часто используют вместе. 

Какие ошибки встречаются чаще всего

Самая распространенная ошибка – добавление в Clean-param параметров, которые реально меняют содержимое страницы.

Например, если фильтр создаёт отдельную полезную подборку товаров, игнорировать такой URL нельзя. Иначе поисковик может перестать воспринимать страницу как самостоятельную.

Вторая ошибка – попытка решить проблему дублей только через Clean-param. Если сайт генерирует тысячи технических URL, нужно комплексно проверять:

• настройки CMS;
• canonical;
• редиректы;
• структуру URL;
• правила robots.txt.

Третья ошибка – неправильный синтаксис. Например, параметры перечисляют через запятую или добавляют лишние пробелы. В результате директива может не обработаться.

Также не стоит использовать Clean-param как замену директиве Disallow. Эти инструменты решают разные задачи. Disallow запрещает обход URL, а Clean-param работает именно с параметрами адресов.

Как проверить работу Clean-param

Самый простой способ – использовать инструмент проверки robots.txt в Яндекс Вебмастере. Он покажет, есть ли ошибки в синтаксисе и как робот интерпретирует правила.

Также стоит отслеживать количество URL с параметрами в индексе. Если директива настроена корректно, число технических страниц со временем может сократиться.

Но не стоит ждать мгновенного результата. Яндексу требуется время на переобход сайта и обновление данных. Если после настройки в индексе всё ещё появляются URL с параметрами, стоит дополнительно проверить:

• canonical на страницах;
• внутренние ссылки;
• редиректы;
• генерацию URL в CMS;
• наличие дублей в sitemap.xml.

Комплексный аудит таких проблем обычно начинают с проверки технического состояния сайта.

Часто задаваемые вопросы про Clean-param (FAQ)

Что такое Clean-param?
Это директива robots.txt для Яндекса, которая помогает роботу игнорировать служебные параметры URL.

Работает ли Clean-param в Google?
Нет, директива поддерживается только Яндексом. Для Google обычно используют canonical и корректную структуру URL.

Какие параметры можно добавлять в Clean-param?
Чаще всего – параметры сортировки, UTM-метки и технические идентификаторы, которые не меняют содержимое страницы.

Можно ли добавлять параметры фильтрации?
Только если фильтр не создаёт полезную самостоятельную страницу. Иначе можно потерять важные URL из поиска.

Нужно ли использовать Clean-param вместе с canonical?
Да, эти инструменты часто дополняют друг друга и помогают лучше контролировать дубли URL.