Не секрет что поисковики любят уникальный контент. Один из главных критериев по которым поисковые системы определяют "уникальность" — это "кто первый разместил тот и считается автором". Но поисковые системы заходят чаще на старые и популярные сайты а на небольшие новые сайты заходят реже. Отсюда появляется проблема — уникальный контент часто приписывается не реальному владельцу - маленькому сайту, а большому сайту который его первым позаимствовал.
Суть идеи: При публикации нового материала (например новой, уникальной статьи на сайт или публикации в блог) нужно публиковать материал неактивным для посетителей но активным для основных поисковых систем и активировать материал для всех только после того как этот материал был посещен поисковиками.
Реализация Смотрим на UserAgent посетителя. Если посетителем является один из основных поисковиков - отдаем ему контент для индексации. Если UserAgent не поисковика то контент не отдаем. Таким образом поисковики видят новый контент первыми, и после того как мы зафиксировали на нужном контенте UserAgent поисковых систем — активируем контент для всех остальных. Начинаем показывать в том числе и RSS-лентах. Мне видится это как галочка при размещении элемента "Сначала активировать для поисковиков".
Это не клоакингт.к. мы не отдаем _разный_ контент поисковику и пользователю. А всего навсего отдаем контент _сначала_ поисковику. Получается что поисковик был первым "посетителем" кто увидел этот контент. Для поисковика эта схема абсолютно белоснежная, а для пользователя это гарантия того что их уникальный контент будет проиндексирован гарантированно первым.
Есть более приятное решение которое и реализовано в продукте, можно регистрировать уникальность контента в Яндексе. За сим идею закрываю, в таком варианте она прозрачной не когда не будет.
Велик вариант заработать бан в поисковиках, а сколько потом времени вы потратите на вытаскивание своего сайта из бана, доказывая клоакинг это или нет, никому не известно. По поводу отдачи сначала/отдачи потом, реально получается что контент юзеру и краулеру в одно и тоже время вы отдаете разный, посему я бы сказал что бан обеспечен.