правильный файл роботс.тхт

проблема: дупликация url из-за itemid и компонентво для читаемых url. цель создать файл роботс.тхт, исключающий возможность вычитывания гуглом множественных линков к одной цели.

вот наработки:

Disallow: /*?* - глобально убирает из индексации все динамические урлы.

по отдельности:

Код (CODE):

1. User-agent: Googlebot
2. Disallow: /*.php$
3. Disallow: /content/$
4. Disallow: /index2.php$
5. Disallow: /index.php$
6. Disallow: /*itemid*
7. Disallow: /*view*
8. Disallow: /*task*
9. Disallow: /*id*
10. Disallow: /*option=*
11. Disallow: /*component*
12. Disallow: /*letter*
13. Disallow: /*threaded*
14. Disallow: /*replyto*
15. Disallow: /*catid*
16. Disallow: /*func=*
17. Disallow: /*bot.html$
18. Disallow: /*AdsManagerTab*

дополняйте и исправляйте.

ps: неясно, как убрать из индекса дублицированные при пагинации линки...

 

Ответ: правильный файл роботс.тхт

Гум... в robots.txt работают маски : )

http://webmaster.yandex.ru/faq.xml?id=996583#specsymv

Но я сильно подозреваю, что в гугле такое не проканает.