Идеальный Robots.txt для Joomla 2.5

Discussion in 'Общие вопросы SEO' started by beezmarkee, Sep 26, 2012.

Page 1 of 2
  1. Offline

    beezmarkee Недавно здесь

    Joined:
    Sep 25, 2012
    Messages:
    15
    Likes Received:
    0
    Gender:
    Male
    Народъ, перечитал много советов по составлению этого презабавнейшего документа, в итоге остановился на таком виде:

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /includes/
    Disallow: /index.php?*
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: /*?sl*
    Disallow: /name.php?action=print
    Disallow: /trackback
    Disallow: /*atom.html
    Disallow: /component/search/
    Disallow: /component/mailto/
    Disallow: /component/user/
    Crawl-delay: 5
    Host: carleader.ru
    Sitemap: http://carleader.ru/sitemap.xml

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /includes/
    Disallow: /index.php?*
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: /*?sl*
    Disallow: /name.php?action=print
    Disallow: /trackback
    Disallow: /*atom.html
    Disallow: /component/search/
    Disallow: /component/mailto/
    Disallow: /component/user/
    Crawl-delay: 5
    Host: carleader.ru
    Sitemap: http://carleader.ru/sitemap.xml

    Этому тексту 3 дня. Сайт слабо индексируется. Статьи не попадают в Яндекс( В основном - в Гугл...


    что скажете по robots.txt? Волнует адрес моей карты сайта. Верно ли указан?
    И как вам сама карта на сайте? http://carleader.ru/x-map


    Спасибо
     
    beezmarkee, Sep 26, 2012
    #1

  2. Ads Master

     
  3. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    1. Объединить оба блока.
    2. Карта верная вроде.
    Всё можно проверить в панелях вебмастера Яндекс и Google

    robots на это не влияет.
     
    OlegM, Sep 26, 2012
    #2
  4. Offline

    beezmarkee Недавно здесь

    Joined:
    Sep 25, 2012
    Messages:
    15
    Likes Received:
    0
    Gender:
    Male
    А что же влияет на индекс? я поставил в админку Джумлы программу Ping, не работает, при публикации новой статьи пишет: "PingService: http://ping.blogs.yandex.ru/RPC2 - <-1> - HTTP/1.1 404 Not Found"

    то есть слитным сделать весь текст?
     
    Last edited by a moderator: Sep 26, 2012
    beezmarkee, Sep 26, 2012
    #3
  5. OlegK
    Offline

    OlegK Russian Joomla! Team Staff Member ⇒ Профи ⇐

    Joined:
    Jan 17, 2011
    Messages:
    7,812
    Likes Received:
    771
    Gender:
    Male
    Жди две недели,как минимум.А если сайт с новым доменом,то и больше.
    Яндекс не любит спешки.Будешь спешить ,попадешь под бан.
     
    OlegK, Sep 26, 2012
    #4
  6. Offline

    beezmarkee Недавно здесь

    Joined:
    Sep 25, 2012
    Messages:
    15
    Likes Received:
    0
    Gender:
    Male
    в плане спешить?)
     
    beezmarkee, Sep 26, 2012
    #5
  7. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Содержимое сайта, наличие или отсутствие ошибок. Ну и, если сайт новый, нужно терпение.

    Т.е. выкинуть блок для Yandex.
     
    OlegM, Sep 26, 2012
    #6
  8. Offline

    beezmarkee Недавно здесь

    Joined:
    Sep 25, 2012
    Messages:
    15
    Likes Received:
    0
    Gender:
    Male
    Код (CODE):
    1. User-agent: *
    2. Disallow: /administrator/
    3. Disallow: /cache/
    4. Disallow: /cli/
    5. Disallow: /includes/
    6. Disallow: /index.php?*
    7. Disallow: /installation/
    8. Disallow: /language/
    9. Disallow: /libraries/
    10. Disallow: /logs/
    11. Disallow: /modules/
    12. Disallow: /plugins/
    13. Disallow: /templates/
    14. Disallow: /tmp/
    15. Disallow: /xmlrpc/
    16. Disallow: /*?sl*
    17. Disallow: /name.php?action=print
    18. Disallow: /trackback
    19. Disallow: /*atom.html
    20. Disallow: /component/search/
    21. Disallow: /component/mailto/
    22. Disallow: /component/user/
    23. Crawl-delay: 5
    24. Host: carleader.ru
    25. Sitemap: http://carleader.ru/sitemap.xml



    так ли?
     
    Last edited by a moderator: May 20, 2013
    beezmarkee, Sep 29, 2012
    #7
  9. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Как-то так. Проверь в Вебмастере Яндекса
     
    OlegM, Sep 29, 2012
    #8
  10. OlegK
    Offline

    OlegK Russian Joomla! Team Staff Member ⇒ Профи ⇐

    Joined:
    Jan 17, 2011
    Messages:
    7,812
    Likes Received:
    771
    Gender:
    Male
    Last edited by a moderator: Mar 31, 2014
    OlegK, Sep 29, 2012
    #9
  11. Offline

    dvd-obzor Недавно здесь

    Joined:
    Apr 21, 2013
    Messages:
    1
    Likes Received:
    0
    Gender:
    Male
    Код (CODE):
    1. User-agent: *
    2. Disallow: /administrator/
    3. Disallow: /cache/
    4. Disallow: /cli/
    5. Disallow: /components/
    6. #Disallow: /images/
    7. Disallow: /includes/
    8. Disallow: /installation/
    9. Disallow: /language/
    10. Disallow: /libraries/
    11. Disallow: /logs/
    12. Disallow: /media/
    13. Disallow: /modules/
    14. Disallow: /plugins/
    15. Disallow: /templates/
    16. Disallow: /tmp/
    17.  
    18. Disallow: *print
    19. Disallow: /*utm_source
    20.  
    21.  
    22. Disallow: /*mailto*
    23. Disallow: /*start*  
    24. Disallow: /*feed*
    25. Disallow: /*search*
    26. Disallow: /*users*
    27.  
    28. Disallow: /*utm_medium=*
    29. Disallow: /*utm_content=*
    30. Disallow: /*utm_campaign=*
    31. Disallow: /*utm_term=*
    32.  
    33. Host: dvd-obzor.ru
    34. Sitemap: http://dvd-obzor.ru/sitemap.xml

    Проверьте ни чего лишнего не поставил?
    Собирал из разных источников.

    Для читаемости прописал редирект:
    RewriteCond %{REQUEST_URI} ^/sitemap.xml
    RewriteRule .* /index.php?option=com_xmap&view=xml&id=1 [R=301,L]

    Или лучше его поменять на index.php?option=com_xmap&sitemap=1&view=xml

    яндекс пишет
    Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL цели перенаправления.

    А гугл спокойно схавал файл с редиректом, а без редиректа сказал что формат файла html и отказался его загружать.
     
    Last edited by a moderator: May 20, 2013
    dvd-obzor, Apr 21, 2013
    #10
  12. klara7
    Offline

    klara7 Недавно здесь

    Joined:
    Jun 22, 2009
    Messages:
    34
    Likes Received:
    0
    Gender:
    Female
    Подскажите, пож-та. У меня такая проблема - Яндекс карту сайта принял на ура, Google не хочет (пишет количество ссылок 400, ошибок нет - а карту не принимает, пишет 0). Как только не колдовала, ничего. У меня в htaccess стоит RewriteRule ^sitemap.xml$ index.php?option=com_xmap&sitemap=1&view=xml

    Думаю может ему sitemap.xml не нравится, пишу в robots.txt:
    Код (CODE):
    1. User-agent: *
    2. Allow: /index.php?option=com_xmap&sitemap=1&view=xml
    3. Allow: /itemlist/category/
    4. Disallow: /administrator/
    5. Disallow: /cache/
    6. Disallow: /cli/      
    7. Disallow: /components/
    8. Disallow: /includes/
    9. Disallow: /language/
    10. Disallow: /libraries/
    11. Disallow: /logs/
    12. Disallow: /modules/
    13. Disallow: /plugins/
    14. Disallow: /templates/
    15. Disallow: /tmp/
    16. Disallow: /*?
    17. Disallow: /itemlist*
    18. Disallow: /*com_mailto*
    19. Disallow: /*pop=*
    20. Disallow: /*lang=ru*
    21. Disallow: /*format=*
    22. Disallow: /*print=*
    23. Disallow: /*task=vote*
    24. Disallow: /*=watermark*
    25. Disallow: /*=download*
    26. Disallow: /*user/*
    27. Disallow: /.html
    28. Disallow: /404
    29. Disallow: /index.php?
    30. Disallow: /index.html
    31. Disallow: /index.php
    32. Disallow: /1-kulinariya?
    33. Disallow: /*tag
    34. Disallow: /*.pdf
    35. Disallow: /*.swf
    36. Disallow: /*print=1
    37. Disallow: /*=atom
    38. Disallow: /*=rss
    39. Disallow: /component/k2/*
    40. Sitemap: http://a-rating.ru/index.php?option=com_xmap&sitemap=1&view=xml


    Он пишет "При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно." Но я же указала в Allow. Или же этого не достаточно?
    Заранее спасибо!
     
    klara7, Apr 26, 2013
    #11
  13. Offline

    Roin Пользователь

    Joined:
    Apr 2, 2013
    Messages:
    39
    Likes Received:
    0
    Gender:
    Male
    Скорее всего ранее у вас стояло ограничение на доступ к карте сайта и робот скачал robots той версии, а потом вы сделали изменения, но проверка доступности карты в кабинете будет проводится по старой версии robots, пока поисковик не скачает новую. В Yandex проверка проводится online, по текущей версии robots - в этом различие.
     
    Roin, Apr 27, 2013
    #12
  14. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    Нужно ли запрещать индексацию файлов в корне сайта: index.php, web.config.txt, Joomla.xml, файлы от удаленных антивирусов (norton) и вебмастера Яндекс?
     
    aybylat, May 20, 2013
    #13
  15. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    aybylat, надо, если они вылезут в индексе поисковика :)
    А web.config.txt и прочий мусор вообще надо удалять.
     
    OlegM, May 20, 2013
    #14
  16. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    Такой вопрос. На сайте имеется всего 10 страницы, включен стандартный SEF. Нужно проиндексировать только 4 страницы, доступные по адресам вида
    site.ru
    site.ru/index.php/page1
    site.ru/index.php/page2
    site.ru/index.php/page3

    Как запретить индексацию всего сайта кроме этих страниц?
     
    aybylat, May 24, 2013
    #15
  17. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Как-то так
    Код (CODE):
    1. Allow: /$
    2. Allow: /index.php/page1$
    3. Allow: /index.php/page2$
    4. Allow: /index.php/page3$
    5. Disallow: /index* # подозреваю, что остальные страницы начинаются с index
     
    OlegM, May 24, 2013
    #16
  18. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    Понятно, только с последней строкой яндекс индексирует все вложенные папки. Сделал так

    Disallow: /

    Теперь вроде все работает, анализаторы гугл и яндекса по крайней мере принимают такой вид.
     
    aybylat, May 24, 2013
    #17
  19. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    А как будет индексировать site.ru?
    А все папки надо тоже перечислять, ведь я привел неполный код.

    Хмм... уж определитесь J:{
     
    OlegM, May 24, 2013
    #18
  20. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    В таком сочетании
    Код (CODE):
    1. Allow: /$
    2. Allow: /index.php$
    3. Allow: /index.php/page1$
    4. Allow: /index.php/page2$
    5. Allow: /index.php/page3$
    6. Disallow: /


    Анализаторы гугл и яндекс разрешают:
    site.ru
    site.ru/index.php
    site.ru/index.php/page1
    site.ru/index.php/page2
    site.ru/index.php/page3

    и запрещают:
    site.ru/index.php/administrator (все вложенные папки)
    site.ru/index.html (все файлы в корне)

    Где и для чего перечислять папки в таком случае?

    Если верить анализаторам, то проиндексироваться должно как положено, если конечно не пропустил чего.
     
    aybylat, May 24, 2013
    #19
  21. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    С Disallow: / - ничего.

    Ну и хорошо, сообщи потом, как проиндексировалось.
    Просто Allow: /$ и Disallow: / вроде как противоречат друг другу, но роботу видней. :)
     
    OlegM, May 24, 2013
    #20
Page 1 of 2
< где может быть заблокирован вывод sitemap | Изменение имени сайта >

Share This Page

Loading...