Помогите разобраться, вопросы по robots.txt

Тема в разделе "Общие вопросы SEO", создана пользователем dotodot, 20.11.2010.

  1. Offline

    dotodot Недавно здесь

    Регистрация:
    20.11.2010
    Сообщения:
    1
    Симпатии:
    0
    Пол:
    Мужской
    Помогите разобраться, как правильно прописать запрет от индексации: (скажите если правильно сам написал, а если не верно то просьба помочь):

    1. Страниц поиска по сайту.

    Ссылки такого вида: сайт.ru/Search.html?ordering=&searchphrase=all&searchword=

    Варианты:

    Disallow: /*searchphrase=all
    Disallow: *searchphrase=all
    Disallow: /component/option,com_search/ - какой верный?

    2. Страницы тегов

    Ссылки такого вида: сайт.ru/категория/Search/Tegi/ и дальше цифры

    Варианты:

    Disallow: /Search*
    Disallow: /Search

    3. В категориях имеются модули с лентой новостей, рсс

    Страницы типа сайт.ru/раздел1/категория1.html

    Варианты:

    Disallow: /раздел1
    Disallow: /index.php?format=feed&type=atom
    Disallow: /index.php?format=feed&type=rss
    Disallow: /*rss.html
    Disallow: /*atom.html
    Disallow: /component/option,com_news feeds/

    4. Как закрыть любую нежелательную страницу?

    Например: сайт.ru/категория1/1546.html

    Disallow: /*1546.html - так?

    Спасибо заранее :)
     
  2.  
  3. Offline

    monah46 Недавно здесь

    Регистрация:
    25.09.2009
    Сообщения:
    19
    Симпатии:
    0
    Пол:
    Мужской
    User-agent: *
    Disallow: /*rss.html
    Disallow: /*atom.html
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /files/
    Disallow: /jaextmanager_data/
    Disallow: /logs/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /mailto/tmpl=component&
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: /index2.php?option=com_content&task=emailform
    Disallow: /*?sl*
    Disallow: /name.php?action=print
    Disallow: *.pdf$
    Disallow: /*/tag/*
    Disallow: /index.php?*
     
  4. Offline

    Andrew1110 Недавно здесь

    Регистрация:
    13.09.2010
    Сообщения:
    9
    Симпатии:
    0
    Пол:
    Мужской
    Такая же проблема, нужно закрыть от индексации раздел
    Disallow: http://mysyte.ru/index.php/razdel* -так можно закрыть?
     

Поделиться этой страницей

Загрузка...