Проблема конфликта robots и sitemap

Тема в разделе "SEO - оптимизация, продвижение", создана пользователем NosferatuMax, 30.03.2013.

  1. Offline

    NosferatuMax Недавно здесь

    Регистрация:
    20.01.2013
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Мужской
    Использую компонент Xmap для создания карты и вот возник вопрос:
    Как указать доступ к файлу сайтмап если он выглядит как:
    http://вашсайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1
    а в robots.txt запрещены следующие URL дабы избежать дублей
    Disallow: /*index*
    Disallow: /*start*
    Disallow: /*component*
    Через .htacess пробовал добавил:
    RewriteCond %{REQUEST_URI} ^/sitemap.xml
    RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml
    Пишет что доступ запрещен в robots.txt и выбивает ошибку 500.
    Подскажите пожалуйста может кто сталкивался и решил данную проблему...:'(
     
    NosferatuMax, 30.03.2013
    #1

  2. Наши спонсоры

     
  3. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    Allow: ссылка
     
    CB9T, 30.03.2013
    #2
  4. Offline

    NosferatuMax Недавно здесь

    Регистрация:
    20.01.2013
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Мужской
    тоесть не будут работать правила написанные выше?
     
    NosferatuMax, 30.03.2013
    #3
  5. Offline

    NosferatuMax Недавно здесь

    Регистрация:
    20.01.2013
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Мужской
    При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
     
    NosferatuMax, 30.03.2013
    #4
  6. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    http://help.yandex.ru/webmaster/?id=996567

    Код (PHP):
    1. Примечание: Не существовало на момент перевода данного текста, сейчас эта инструкция поддерживаетcя и Гуглом, и Яндексом. Уточняйте по использованию для других роботов.
    2.  
    3. Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает!
    4.  
    5.     Отдельные роботы (например googlebot) понимают директиву Allow
    6.  
    7. Так неправильно:
    8.  
    9.     User-agent: Yandex
    10.     Disallow: /john/
    11.     Allow: /jane/
    12.  
    13. А вот так – правильно:
    14.  
    15.     User-agent: Yandex
    16.     Disallow: /john/
    17.     Disallow:
     
    CB9T, 30.03.2013
    #5
  7. Offline

    NosferatuMax Недавно здесь

    Регистрация:
    20.01.2013
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Мужской
    я это все читал, гугл бот не может перейти на страницу с картой потому что она содержит запрещенные выражения, потому и спаришваюи если какой то обход, т.к. убрать запрет не могу, появляются дубли страниц.
     
    NosferatuMax, 30.03.2013
    #6
< Карта сайта для виртуемарт | Ищу оптимизатора >

Поделиться этой страницей

Загрузка...