Генерация карты сайта (sitemap.xml) учитывает файл robots.txt

Рейтинг: 1.8117  
На голосовании
Предложил Винниченко Константин 22.07.2014 10:26:29

Генерация карты сайта (sitemap.xml) учитывает файл robots.txt

Очень часто бывают случаи когда намеренно блокируешь раздел от индексации в файле robots.txt , а в ответ от поисковых систем получаешь ошибки о том что карта сайта sitemap.xml содержит эти ссылки, однако они заблокированы в файле robots.txt.

Разработчики, сделайте пожалуйста так, чтобы после сбора списка URL, для тех директив где указано "User-agent: *" исключались ссылки.

Рейтинг: 0  
Грищук Максим 25.07.2014 19:59:38
Может Disallow: * ?
Рейтинг: 0  
Винниченко Константин 07.08.2014 11:04:33
Disallow: *

- это означает исключение всего сайта из индексации в выдаче поиска, в Яндексе проиндексирована будет только главная страница сайта