правильный файл роботс.тхт

Тема в разделе "Joomla и SEF (ЧПУ)", создана пользователем chilly_bang, 15.01.2008.

  1. chilly_bang
    Offline

    chilly_bang специалист

    Регистрация:
    30.04.2006
    Сообщения:
    1 545
    Симпатии:
    38
    Пол:
    Мужской
    проблема: дупликация url из-за itemid и компонентво для читаемых url. цель создать файл роботс.тхт, исключающий возможность вычитывания гуглом множественных линков к одной цели.

    вот наработки:

    Disallow: /*?* - глобально убирает из индексации все динамические урлы.

    по отдельности:
    Код (CODE):
    1. User-agent: Googlebot
    2. Disallow: /*.php$
    3. Disallow: /content/$
    4. Disallow: /index2.php$
    5. Disallow: /index.php$
    6. Disallow: /*itemid*
    7. Disallow: /*view*
    8. Disallow: /*task*
    9. Disallow: /*id*
    10. Disallow: /*option=*
    11. Disallow: /*component*
    12. Disallow: /*letter*
    13. Disallow: /*threaded*
    14. Disallow: /*replyto*
    15. Disallow: /*catid*
    16. Disallow: /*func=*
    17. Disallow: /*bot.html$
    18. Disallow: /*AdsManagerTab*


    дополняйте и исправляйте.

    ps: неясно, как убрать из индекса дублицированные при пагинации линки...
     
    Последнее редактирование: 15.01.2008
  2.  
  3. sectus
    Offline

    sectus специалист

    Регистрация:
    19.04.2006
    Сообщения:
    1 210
    Симпатии:
    46
    Пол:
    Мужской
    Ответ: правильный файл роботс.тхт

    Гум... в robots.txt работают маски : )

    http://webmaster.yandex.ru/faq.xml?id=996583#specsymv

    Но я сильно подозреваю, что в гугле такое не проканает.
     
    Последнее редактирование: 15.01.2008

Поделиться этой страницей

Загрузка...