Модуль для МП — Отдаем контент сначала поисковикам а только потом юзерам

Рейтинг: -6.2079  
Внедрено
Предложил Пользователь 4949 25.11.2012 09:43:23

Модуль для МП — Отдаем контент сначала поисковикам а только потом юзерам

Модуль для Маркетплейса

Не секрет что поисковики любят уникальный контент. Один из главных критериев по которым поисковые системы определяют "уникальность" — это "кто первый разместил тот и считается автором". Но поисковые системы заходят чаще на старые и популярные сайты а  на небольшие новые сайты заходят реже. Отсюда появляется проблема — уникальный контент часто приписывается не реальному владельцу - маленькому сайту, а большому сайту который его первым позаимствовал.

Суть идеи:
При публикации нового материала (например новой, уникальной статьи на сайт или публикации в блог) нужно публиковать материал неактивным для посетителей но активным для основных поисковых систем и активировать материал для всех только после того как этот материал был посещен поисковиками.

Реализация
Смотрим на UserAgent посетителя. Если посетителем является один из основных поисковиков - отдаем ему контент для индексации. Если UserAgent не поисковика то контент не отдаем. Таким образом поисковики видят новый контент первыми, и после того как мы зафиксировали на нужном контенте UserAgent поисковых систем — активируем контент для всех остальных. Начинаем показывать в том числе и RSS-лентах.
Мне видится это как галочка при размещении элемента "Сначала активировать для поисковиков".

Это не клоакингт.к. мы не отдаем _разный_ контент поисковику и пользователю. А всего навсего отдаем контент _сначала_ поисковику. Получается что поисковик был первым "посетителем" кто увидел этот контент. Для поисковика эта схема абсолютно белоснежная, а для пользователя это гарантия того что их уникальный контент будет проиндексирован гарантированно первым.
Рейтинг: 0  
Ответил 16.05.2014 17:08:21
Есть более приятное решение которое и реализовано в продукте, можно регистрировать уникальность контента в Яндексе. За сим идею закрываю, в таком варианте она прозрачной не когда не будет.

Рейтинг: 0  
Пользователь 57829 05.12.2012 21:19:35
Велик вариант заработать бан в поисковиках, а сколько потом времени вы потратите на вытаскивание своего сайта из бана, доказывая клоакинг это или нет, никому не известно.
По поводу отдачи сначала/отдачи потом, реально получается что контент юзеру и краулеру в одно и тоже время вы отдаете разный, посему я бы сказал что бан обеспечен.