Запрет на индексацию страниц в robots.txt и рекламные блоки AdSense

Если часть страниц вашего сайта закрыта для индексации в файле robots.txt, а при этом на сайте показываются рекламные блоки AdSense, то робот рекламной сети Google как правило также не будет сканировать содержимое исключенных документов. Это вызывает в ряде случаев показ на данных не проиндексированных страницах нерелевантных объявлений AdWords, а в некоторых случаях объявления не показываются вовсе. Таким образом, чтобы не потерять существенную часть дохода от показа рекламы, но сделать это так, чтобы не «просесть» в результатах поиска Яндекса и Google, нужно позаботиться о персональном разрешении для бота Mediapartners-Google.

Сделать это несложно. Откройте файл robots.txt и для всего сайта сделайте разрешение для индексирующего робота AdSense, добавив в конец файла всего 2 строки:

User-agent: Mediapartners-Google
Disallow:


Внимание! Как всегда не забываем после каждого изменения в файле robots.txtподстраховаться и проверить правильность его работы с помощью специального раздела инструмента Яндекс.Вебмастер.

P.S. А вы знаете, что можно показывать рекламные объявления от Google даже на страницах защищенных паролем? Приглашаем ознакомиться с инструкций.