Использую компонент Xmap для создания карты и вот возник вопрос: Как указать доступ к файлу сайтмап если он выглядит как: http://вашсайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1 а в robots.txt запрещены следующие URL дабы избежать дублей Disallow: /*index* Disallow: /*start* Disallow: /*component* Через .htacess пробовал добавил: RewriteCond %{REQUEST_URI} ^/sitemap.xml RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml Пишет что доступ запрещен в robots.txt и выбивает ошибку 500. Подскажите пожалуйста может кто сталкивался и решил данную проблему...
При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
http://help.yandex.ru/webmaster/?id=996567 Код (PHP): Примечание: Не существовало на момент перевода данного текста, сейчас эта инструкция поддерживаетcя и Гуглом, и Яндексом. Уточняйте по использованию для других роботов. Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает! Отдельные роботы (например googlebot) понимают директиву Allow Так неправильно: User-agent: Yandex Disallow: /john/ Allow: /jane/ А вот так – правильно: User-agent: Yandex Disallow: /john/ Disallow:
я это все читал, гугл бот не может перейти на страницу с картой потому что она содержит запрещенные выражения, потому и спаришваюи если какой то обход, т.к. убрать запрет не могу, появляются дубли страниц.
