Идеальный Robots.txt для Joomla 2.5

Народъ, перечитал много советов по составлению этого презабавнейшего документа, в итоге остановился на таком виде:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /index.php?*
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*atom.html
Disallow: /component/search/
Disallow: /component/mailto/
Disallow: /component/user/
Crawl-delay: 5
Host: carleader.ru
Sitemap: http://carleader.ru/sitemap.xml

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /index.php?*
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*atom.html
Disallow: /component/search/
Disallow: /component/mailto/
Disallow: /component/user/
Crawl-delay: 5
Host: carleader.ru
Sitemap: http://carleader.ru/sitemap.xml

Этому тексту 3 дня. Сайт слабо индексируется. Статьи не попадают в Яндекс( В основном - в Гугл...


что скажете по robots.txt? Волнует адрес моей карты сайта. Верно ли указан?
И как вам сама карта на сайте? http://carleader.ru/x-map


Спасибо

 

А что же влияет на индекс? я поставил в админку Джумлы программу Ping, не работает, при публикации новой статьи пишет: "PingService: http://ping.blogs.yandex.ru/RPC2 - <-1> - HTTP/1.1 404 Not Found"

то есть слитным сделать весь текст?

 

в плане спешить?)

 

Код (CODE):

1. User-agent: *
2. Disallow: /administrator/
3. Disallow: /cache/
4. Disallow: /cli/
5. Disallow: /includes/
6. Disallow: /index.php?*
7. Disallow: /installation/
8. Disallow: /language/
9. Disallow: /libraries/
10. Disallow: /logs/
11. Disallow: /modules/
12. Disallow: /plugins/
13. Disallow: /templates/
14. Disallow: /tmp/
15. Disallow: /xmlrpc/
16. Disallow: /*?sl*
17. Disallow: /name.php?action=print
18. Disallow: /trackback
19. Disallow: /*atom.html
20. Disallow: /component/search/
21. Disallow: /component/mailto/
22. Disallow: /component/user/
23. Crawl-delay: 5
24. Host: carleader.ru
25. Sitemap: http://carleader.ru/sitemap.xml

так ли?

 

Код (CODE):

1. User-agent: *
2. Disallow: /administrator/
3. Disallow: /cache/
4. Disallow: /cli/
5. Disallow: /components/
6. #Disallow: /images/
7. Disallow: /includes/
8. Disallow: /installation/
9. Disallow: /language/
10. Disallow: /libraries/
11. Disallow: /logs/
12. Disallow: /media/
13. Disallow: /modules/
14. Disallow: /plugins/
15. Disallow: /templates/
16. Disallow: /tmp/
17.  
18. Disallow: *print
19. Disallow: /*utm_source
20.  
21.  
22. Disallow: /*mailto*
23. Disallow: /*start*  
24. Disallow: /*feed*
25. Disallow: /*search*
26. Disallow: /*users*
27.  
28. Disallow: /*utm_medium=*
29. Disallow: /*utm_content=*
30. Disallow: /*utm_campaign=*
31. Disallow: /*utm_term=*
32.  
33. Host: dvd-obzor.ru
34. Sitemap: http://dvd-obzor.ru/sitemap.xml

Проверьте ни чего лишнего не поставил?
Собирал из разных источников.

Для читаемости прописал редирект:
RewriteCond %{REQUEST_URI} ^/sitemap.xml
RewriteRule .* /index.php?option=com_xmap&view=xml&id=1 [R=301,L]

Или лучше его поменять на index.php?option=com_xmap&sitemap=1&view=xml

яндекс пишет
Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL цели перенаправления.

А гугл спокойно схавал файл с редиректом, а без редиректа сказал что формат файла html и отказался его загружать.

 

Подскажите, пож-та. У меня такая проблема - Яндекс карту сайта принял на ура, Google не хочет (пишет количество ссылок 400, ошибок нет - а карту не принимает, пишет 0). Как только не колдовала, ничего. У меня в htaccess стоит RewriteRule ^sitemap.xml$ index.php?option=com_xmap&sitemap=1&view=xml

Думаю может ему sitemap.xml не нравится, пишу в robots.txt:

Код (CODE):

1. User-agent: *
2. Allow: /index.php?option=com_xmap&sitemap=1&view=xml
3. Allow: /itemlist/category/
4. Disallow: /administrator/
5. Disallow: /cache/
6. Disallow: /cli/      
7. Disallow: /components/
8. Disallow: /includes/
9. Disallow: /language/
10. Disallow: /libraries/
11. Disallow: /logs/
12. Disallow: /modules/
13. Disallow: /plugins/
14. Disallow: /templates/
15. Disallow: /tmp/
16. Disallow: /*?
17. Disallow: /itemlist*
18. Disallow: /*com_mailto*
19. Disallow: /*pop=*
20. Disallow: /*lang=ru*
21. Disallow: /*format=*
22. Disallow: /*print=*
23. Disallow: /*task=vote*
24. Disallow: /*=watermark*
25. Disallow: /*=download*
26. Disallow: /*user/*
27. Disallow: /.html
28. Disallow: /404
29. Disallow: /index.php?
30. Disallow: /index.html
31. Disallow: /index.php
32. Disallow: /1-kulinariya?
33. Disallow: /*tag
34. Disallow: /*.pdf
35. Disallow: /*.swf
36. Disallow: /*print=1
37. Disallow: /*=atom
38. Disallow: /*=rss
39. Disallow: /component/k2/*
40. Sitemap: http://a-rating.ru/index.php?option=com_xmap&sitemap=1&view=xml

Он пишет "При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно." Но я же указала в Allow. Или же этого не достаточно?
Заранее спасибо!

 

Скорее всего ранее у вас стояло ограничение на доступ к карте сайта и робот скачал robots той версии, а потом вы сделали изменения, но проверка доступности карты в кабинете будет проводится по старой версии robots, пока поисковик не скачает новую. В Yandex проверка проводится online, по текущей версии robots - в этом различие.

 

Нужно ли запрещать индексацию файлов в корне сайта: index.php, web.config.txt, Joomla.xml, файлы от удаленных антивирусов (norton) и вебмастера Яндекс?

 

Такой вопрос. На сайте имеется всего 10 страницы, включен стандартный SEF. Нужно проиндексировать только 4 страницы, доступные по адресам вида
site.ru
site.ru/index.php/page1
site.ru/index.php/page2
site.ru/index.php/page3

Как запретить индексацию всего сайта кроме этих страниц?

 

Понятно, только с последней строкой яндекс индексирует все вложенные папки. Сделал так

Disallow: /

Теперь вроде все работает, анализаторы гугл и яндекса по крайней мере принимают такой вид.

 

В таком сочетании

Код (CODE):

1. Allow: /$
2. Allow: /index.php$
3. Allow: /index.php/page1$
4. Allow: /index.php/page2$
5. Allow: /index.php/page3$
6. Disallow: /

Анализаторы гугл и яндекс разрешают:
site.ru
site.ru/index.php
site.ru/index.php/page1
site.ru/index.php/page2
site.ru/index.php/page3

и запрещают:
site.ru/index.php/administrator (все вложенные папки)
site.ru/index.html (все файлы в корне)

Где и для чего перечислять папки в таком случае?

Если верить анализаторам, то проиндексироваться должно как положено, если конечно не пропустил чего.