robots.txt

Discussion in 'Ошибки при работе с Joomla' started by splint, Feb 21, 2011.

Page 1 of 3
  1. splint
    Offline

    splint Пользователь

    Joined:
    Nov 17, 2010
    Messages:
    216
    Likes Received:
    1
    Gender:
    Male
    В интернете много противоричивой информации про robots.txt, каждый пишет по разному что в нём должно быть и как он должен выглядеть то на WP то на джумлу. Так вот хачу у вас спросить как правильно должен выглядеть robots.txt и нет ли у меня ошибок. Вот мой robots.txt:

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Host: www.news-gameworld.ru
    Sitemap: http://news-gameworld.ru/index.php/sitemap


    Может нада сделать отступ между Disallow: /xmlrpc/ и Host: и отступ между Host: и Sitemap?. Правильно ли я написал ссылку в Host и Sitemap?. Надо ли ещё других поисковых ботов вписывать? Короче народ помогите пожалуйста, действительно для меня это очень наболевшая проблема...
     
    splint, Feb 21, 2011
    #1

  2. Ads Master

     
  3. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    По поводу sitemap - точно нет. Т.к. карта по сути лучше в XML формате

    Пример: http://cuba77.ru/robots.txt не стал заморачиваться для всех, сделал единый для ПС ;)
     
    CB9T, Feb 21, 2011
    #2
  4. Offline

    artpsiholog Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    5
    Likes Received:
    0
    Gender:
    Male
    Код (CODE):
    1. Sitemap: http://news-gameworld.ru/index.php/sitemap

    Вот здесь однозначно ошиблись. Поисковикам нужна .xml карта. Для создания такой карты, можно воспользоватьсял ибо плагином, либо любым бесплатным онлайн-генератором.

    А что бы обработать всю противоречивую информацию по файлу robots.txt, настоятельно рекомендую Вам заглянуть на этот сайт - очень доступно описаны основные приёмы "дрессировки" поисковых роботов. :)
     
    artpsiholog, Feb 23, 2011
    #3
  5. Offline

    delux Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    12
    Likes Received:
    1
    Gender:
    Male
    Я установил Xmap версии 1.2.9, можно как нибудь преобразовать в XML формат?, или вообще есть плагин или модуль по созданию XML карты сайта на джумлу?)
    Прошу помогите :)
     
    delux, Feb 23, 2011
    #4
  6. Offline

    artpsiholog Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    5
    Likes Received:
    0
    Gender:
    Male
    delux, может это поможет?
     
    artpsiholog, Feb 23, 2011
    #5
  7. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    XMAP сам умеет все делать. НО! отнюдь не все ссылки в нем есть. Все же предпочитаю программу выше которую описывал. Т.к. ссылки есть на категории блоги, стр.. и т.п. а не только на материалы и т.п.
     
    CB9T, Feb 23, 2011
    #6
  8. Offline

    delux Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    12
    Likes Received:
    1
    Gender:
    Male
    delux, Feb 24, 2011
    #7
  9. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    CB9T, Feb 25, 2011
    #8
  10. OlegK
    Offline

    OlegK Russian Joomla! Team Staff Member ⇒ Профи ⇐

    Joined:
    Jan 17, 2011
    Messages:
    7,812
    Likes Received:
    771
    Gender:
    Male
    Если контент не интересен,то никакие карты ссылок не спасут,и не будут выводится в топ.
     
    OlegK, Feb 25, 2011
    #9
  11. Offline

    artpsiholog Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    5
    Likes Received:
    0
    Gender:
    Male
    Всё так, но это уже совсем не "технический" вопрос (тут уж всё от желаний и целей владельца сайта зависит), в отличие от проблем с файлом robots.txt :)
     
    artpsiholog, Feb 25, 2011
    #10
  12. Offline

    delux Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    12
    Likes Received:
    1
    Gender:
    Male
    1. А она нормальная в управлении?
    2. зайдя на карту сайта будут видеть также как и сейчас? http://news-gameworld.ru/sitemap
    3. а как добавить её на сайт?), прост Xmap через установку плагина а модуля, а Sitemap Writer Pro незнаю как)
    4. Сколько Sitemap Writer Pro подерживает максимум страниц на сайте для создания карты сайты?)
     
    delux, Feb 25, 2011
    #11
  13. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    1. Легкая :) можно попробовать организовать скидку через меня.
    2. XMAP можно оставить, я лично программу исп. только для xml создания для ПС
    3. Это вообще сторонняя программа :) стоит не дорого
    4. Неограниченно, т.е. до 40 одновременно работающих пауков с твоего компа... и сам все задаешь :) + автосабмит для поисковиков всем доступен. [!]
     
    CB9T, Feb 25, 2011
    #12
  14. Offline

    delux Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    12
    Likes Received:
    1
    Gender:
    Male
    1. Тоесть ты запихиваешь карту сайта в поисковики в ручную? через панель вебмастера в поисковиках?)
    2 тоесть люди зайдя на карту сайта будут видеть вот такое http://news-gameworld.ru/sitemap или такое http://news-gameworld.ru/sitemap.xml ?
    3. sitemapwrite она платная?), а сколько стоит?), или в бесплатном режиме можно как нить пльзоватся?)
     
    delux, Feb 25, 2011
    #13
  15. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    1. - Нет. Программа сама запускает до 40 пауков (чтобы шустро все сделать) и за тебя все делает. И можешь отослать карту сайта ПС - т.е. типо обновилась она.
    2. Людям первый вариант. А роботам второй. (может программа типо первого варианта сделать - html)
    3. Да. До 20$. Можно но только 3-4 ссылки сохраняет :) - могу прогнать за баксик - 1$ :D
     
    CB9T, Feb 25, 2011
    #14
  16. splint
    Offline

    splint Пользователь

    Joined:
    Nov 17, 2010
    Messages:
    216
    Likes Received:
    1
    Gender:
    Male
    splint, Feb 27, 2011
    #15
  17. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    Ручками... или же через http://www.xml-sitemaps.com/ - в 500 страниц бесплатно. ;)

    P.S. Помог "+" в карму
     
    CB9T, Feb 27, 2011
    #16
  18. splint
    Offline

    splint Пользователь

    Joined:
    Nov 17, 2010
    Messages:
    216
    Likes Received:
    1
    Gender:
    Male
    1. Как понять ручками?), вручную это как?))
    2. А ты уверен что такая карта не пойдёт?) Sitemap: http://news-gameworld.ru/index.php?option=com_xmap&sitemap=1&view=xml , я её добавил в веб панели яши и гугла и они таз загрузились. Или всё же должен быть формат .XML ? =)
     
    splint, Mar 1, 2011
    #17
  19. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    у тебя она и так динамическая xml (кто говорил что не пройдет? )) пройдет)) - просто не по стандартам все это ;)
     
    CB9T, Mar 1, 2011
    #18
  20. Offline

    artpsiholog Недавно здесь

    Joined:
    Feb 23, 2011
    Messages:
    5
    Likes Received:
    0
    Gender:
    Male
    Сходил по ссылке и посмотрел карту - обычная стандартная карта.

    Почему не по стандартам-то? :)

    То что расширение файла отличное от xml? А разве поисковикам важен не сам файл (и не вано расширение), содержащий в себе xml код с картой сайта? %)
     
    artpsiholog, Mar 1, 2011
    #19
  21. splint
    Offline

    splint Пользователь

    Joined:
    Nov 17, 2010
    Messages:
    216
    Likes Received:
    1
    Gender:
    Male
    splint, Mar 2, 2011
    #20
Page 1 of 3
< Не отображается карточка товара в магазине | Не правильно вставляется ссылка!!! Помогите разобраться!!! >

Share This Page

Loading...