Рейтинг: 19.9122  
На голосовании
Предложил Малышев Роман 08.09.2014 00:06:36

Убрать из robots.txt Disallow: # empty ...

Для каждого правила в robots.txt прописывается  Disallow: # empty Disallow instruction SHOULD be there, а для яндекса эта строка означает  Allow: /, аналогично и для   Allow с пустыми параметрами

Директивы Allow-Disallow без параметров
Отсутствие параметров у директивы трактуется следующим образом: 
User-agent: Yandex Disallow: # то же, что и Allow: / 
User-agent: Yandex Allow: # то же, что и Disallow: /

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow


User-Agent: *
Disallow: # empty Disallow instruction SHOULD be there
Disallow: /

User-Agent: Yandex
Disallow: # empty Disallow instruction SHOULD be there
Disallow: /

User-Agent: Googlebot
Disallow: # empty Disallow instruction SHOULD be there
Disallow: /
Рейтинг: 1.8117  
На голосовании
Предложил Винниченко Константин 22.07.2014 10:26:29

Генерация карты сайта (sitemap.xml) учитывает файл robots.txt

Очень часто бывают случаи когда намеренно блокируешь раздел от индексации в файле robots.txt , а в ответ от поисковых систем получаешь ошибки о том что карта сайта sitemap.xml содержит эти ссылки, однако они заблокированы в файле robots.txt.

Разработчики, сделайте пожалуйста так, чтобы после сбора списка URL, для тех директив где указано "User-agent: *" исключались ссылки.
Рейтинг: 1.5718  
На голосовании
Предложил Винниченко Константин 22.07.2014 10:20:27

Переименовать sitemap_index.xml в sitemap.xml для SEO

Сделать название индексной карты сайта по умолчанию sitemap.xml, ибо некоторые поисковые системы ищут карту сайта через http://site.com/sitemap.xml когда адрес карты сайта явно не указан в файле robots.txt