Новая директива Clean-param файла robots.txt для Яндекса – решение проблем индексации сайта со множеством параметров

Если в адресах документов вашего сайта встречаются параметры, которые не влияют на содержимое документов, а используются для указания идентификаторов сессии пользователей, вариантов сортировки данных в таблицах, сайтов-рефереров и т.п., то их наличие всегда вызывало ряд проблем с индексированием сайтов, включая такие, как дублирование контента, повышенную нагрузку на веб-сервер в момент обхода поисковым роботом документов сайта и т.п. Все это заставляло SEO-оптимизаторов избегать использования таких параметров или запрещать поисковикам индексирования документов с такими “избыточными” адресами.

В январе 2009 года для решения этой проблемы Яндекс ввел поддержку новой директивы файла robots.txt. Эта директива называется Clean-param. Она позволяет явно указать, какие параметры и в каких документах являются “избыточными” для целей индексирования сайта.

К примеру, на сайте в каталоге товаров в одном из вариантов в адресах документов возникает параметр sortby, задающий специфику сортировки данных на страницах:

www.site.ru/catalog/products.php?page=123&sortby=price

Указать Яндексу на избыточность этого параметра можно следующей строкой файла robots.txt:

User-agent: Yandex

Disallow:

Clean-param: sortby /catalog/products.php

Таким образом при обходе страниц Яндекс будет игнорировать документы, содержащие параметр sortby для документов /catalog/products.php.

Общий синтаксис команды:

Clean-param: p0[&p1&p2&..&pn] [path]

При указании пути есть возможность использовать регулярные выражения.

Подробное описание директивы смотрите на Яндексе по адресу http://help.yandex.ru/webmaster/?id=996567#1041216.