Необходимо добавить правило для еще одного гугловского робота:
User-agent: Mediapartners-Google
Disallow: |
Этот робот отвечает за сканирование сайта для показа рекламы Adsens.
А редактор robots.txt (тот который в сервисах) его вырезает.. Приходится все равно все править через обычный текстовый редактор.