Как правильно составить Robot.txt

Скажите, я правильно прописал карту сайта ???? Я ее случайно не закрыл????

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Allow: /
Sitemap: http://euronovosti.net/index.php?option=com_xmap&sitemap=1&view=xml

 

Я не знаю алгоритм. Составил по примерам других сайтов.
А какой вариант будит оптимальным, как лучше написать, что б индексация нормально проходила и открыть для поиска карту

 

Вот такой общий пример.

Код (CODE):

1. User-agent: Yandex
2. Disallow: /administrator/
3. Disallow: /cache/
4. Disallow: /components/
5. Disallow: /cli/
6. Disallow: /images/
7. Disallow: /includes/
8. Disallow: /installation/
9. Disallow: /language/
10. Disallow: /libraries/
11. Disallow: /logs/
12. Disallow: /media/
13. Disallow: /modules/
14. Disallow: /plugins/
15. Disallow: /templates/
16. Disallow: /tmp/
17. Disallow: /*mailto*
18. Disallow: /*start*
19. Disallow: /*print*
20. Disallow: /*feed*
21. Disallow: /*search*
22. Disallow: /*users*
23. Host: yoursite.ru
24. Sitemap: ссылка на карту сайта
25.  
26. User-agent: *
27. Disallow: /administrator/
28. Disallow: /cache/
29. Disallow: /components/
30. Disallow: /cli/
31. Disallow: /images/
32. Disallow: /includes/
33. Disallow: /installation/
34. Disallow: /language/
35. Disallow: /libraries/
36. Disallow: /logs/
37. Disallow: /media/
38. Disallow: /modules/
39. Disallow: /plugins/
40. Disallow: /templates/
41. Disallow: /tmp/
42. Disallow: /*mailto*
43. Disallow: /*start*
44. Disallow: /*print*
45. Disallow: /*feed*
46. Disallow: /*search*
47. Disallow: /*users*

 

а, для открытия карты, как лучше:

Allow: /
Sitemap: http://euronovosti.net/index.php?option=com_xmap&sitemap=1&view=xml
или
Sitemap: http://www.euronovosti.net/index.php?option=com_xmap&sitemap=1&Itemid=50

Просто в первом варианте открывается прикольная упорядоченная страничка

 

Для поисковиков XML лучше. И не нужно вот это - Allow: /

 

Я заметил, что на разных сайтах, прописывают по разному строку карты, не знаю как правильно, где просто ссылку пишут, где ссылаются на htm

Sitemap: http://euronovosti.net/index.php?option=com_xmap&sitemap=1&view=xml Это правильно, подскажите ???

 

Скажите пожалуйста, если включен стандартный SEF и получаются ссылки вроде http://misite.ru/raznoe/kompyuter/27-posledstviya-kompyuter , то целесобразно ли добавить эти строки:

Код (CODE):

1. Disallow: /404
2. Disallow: /*?
3. Disallow: /*&
4. Disallow: /index.php?
5. Disallow: /index.php
6. Disallow: /index.html

?
И что обозначает звездочка после выражения, допустим если написать Disallow: /*?*