robots.txt

Тема в разделе "Ошибки при работе с Joomla", создана пользователем splint, 21.02.2011.

Страница 1 из 3
  1. splint
    Offline

    splint Пользователь

    Регистрация:
    17.11.2010
    Сообщения:
    216
    Симпатии:
    1
    Пол:
    Мужской
    В интернете много противоричивой информации про robots.txt, каждый пишет по разному что в нём должно быть и как он должен выглядеть то на WP то на джумлу. Так вот хачу у вас спросить как правильно должен выглядеть robots.txt и нет ли у меня ошибок. Вот мой robots.txt:

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Host: www.news-gameworld.ru
    Sitemap: http://news-gameworld.ru/index.php/sitemap


    Может нада сделать отступ между Disallow: /xmlrpc/ и Host: и отступ между Host: и Sitemap?. Правильно ли я написал ссылку в Host и Sitemap?. Надо ли ещё других поисковых ботов вписывать? Короче народ помогите пожалуйста, действительно для меня это очень наболевшая проблема...
     
    splint, 21.02.2011
    #1

  2. Наши спонсоры

     
  3. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    По поводу sitemap - точно нет. Т.к. карта по сути лучше в XML формате

    Пример: http://cuba77.ru/robots.txt не стал заморачиваться для всех, сделал единый для ПС ;)
     
    CB9T, 21.02.2011
    #2
  4. Offline

    artpsiholog Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    5
    Симпатии:
    0
    Пол:
    Мужской
    Код (CODE):
    1. Sitemap: http://news-gameworld.ru/index.php/sitemap

    Вот здесь однозначно ошиблись. Поисковикам нужна .xml карта. Для создания такой карты, можно воспользоватьсял ибо плагином, либо любым бесплатным онлайн-генератором.

    А что бы обработать всю противоречивую информацию по файлу robots.txt, настоятельно рекомендую Вам заглянуть на этот сайт - очень доступно описаны основные приёмы "дрессировки" поисковых роботов. :)
     
    artpsiholog, 23.02.2011
    #3
  5. Offline

    delux Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    12
    Симпатии:
    1
    Пол:
    Мужской
    Я установил Xmap версии 1.2.9, можно как нибудь преобразовать в XML формат?, или вообще есть плагин или модуль по созданию XML карты сайта на джумлу?)
    Прошу помогите :)
     
    delux, 23.02.2011
    #4
  6. Offline

    artpsiholog Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    5
    Симпатии:
    0
    Пол:
    Мужской
    delux, может это поможет?
     
    artpsiholog, 23.02.2011
    #5
  7. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    XMAP сам умеет все делать. НО! отнюдь не все ссылки в нем есть. Все же предпочитаю программу выше которую описывал. Т.к. ссылки есть на категории блоги, стр.. и т.п. а не только на материалы и т.п.
     
    CB9T, 23.02.2011
    #6
  8. Offline

    delux Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    12
    Симпатии:
    1
    Пол:
    Мужской
    delux, 24.02.2011
    #7
  9. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    CB9T, 25.02.2011
    #8
  10. OlegK
    Offline

    OlegK Russian Joomla! Team Команда форума ⇒ Профи ⇐

    Регистрация:
    17.01.2011
    Сообщения:
    7 812
    Симпатии:
    771
    Пол:
    Мужской
    Если контент не интересен,то никакие карты ссылок не спасут,и не будут выводится в топ.
     
    OlegK, 25.02.2011
    #9
  11. Offline

    artpsiholog Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    5
    Симпатии:
    0
    Пол:
    Мужской
    Всё так, но это уже совсем не "технический" вопрос (тут уж всё от желаний и целей владельца сайта зависит), в отличие от проблем с файлом robots.txt :)
     
    artpsiholog, 25.02.2011
    #10
  12. Offline

    delux Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    12
    Симпатии:
    1
    Пол:
    Мужской
    1. А она нормальная в управлении?
    2. зайдя на карту сайта будут видеть также как и сейчас? http://news-gameworld.ru/sitemap
    3. а как добавить её на сайт?), прост Xmap через установку плагина а модуля, а Sitemap Writer Pro незнаю как)
    4. Сколько Sitemap Writer Pro подерживает максимум страниц на сайте для создания карты сайты?)
     
    delux, 25.02.2011
    #11
  13. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    1. Легкая :) можно попробовать организовать скидку через меня.
    2. XMAP можно оставить, я лично программу исп. только для xml создания для ПС
    3. Это вообще сторонняя программа :) стоит не дорого
    4. Неограниченно, т.е. до 40 одновременно работающих пауков с твоего компа... и сам все задаешь :) + автосабмит для поисковиков всем доступен. [!]
     
    CB9T, 25.02.2011
    #12
  14. Offline

    delux Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    12
    Симпатии:
    1
    Пол:
    Мужской
    1. Тоесть ты запихиваешь карту сайта в поисковики в ручную? через панель вебмастера в поисковиках?)
    2 тоесть люди зайдя на карту сайта будут видеть вот такое http://news-gameworld.ru/sitemap или такое http://news-gameworld.ru/sitemap.xml ?
    3. sitemapwrite она платная?), а сколько стоит?), или в бесплатном режиме можно как нить пльзоватся?)
     
    delux, 25.02.2011
    #13
  15. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    1. - Нет. Программа сама запускает до 40 пауков (чтобы шустро все сделать) и за тебя все делает. И можешь отослать карту сайта ПС - т.е. типо обновилась она.
    2. Людям первый вариант. А роботам второй. (может программа типо первого варианта сделать - html)
    3. Да. До 20$. Можно но только 3-4 ссылки сохраняет :) - могу прогнать за баксик - 1$ :D
     
    CB9T, 25.02.2011
    #14
  16. splint
    Offline

    splint Пользователь

    Регистрация:
    17.11.2010
    Сообщения:
    216
    Симпатии:
    1
    Пол:
    Мужской
    splint, 27.02.2011
    #15
  17. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    Ручками... или же через http://www.xml-sitemaps.com/ - в 500 страниц бесплатно. ;)

    P.S. Помог "+" в карму
     
    CB9T, 27.02.2011
    #16
  18. splint
    Offline

    splint Пользователь

    Регистрация:
    17.11.2010
    Сообщения:
    216
    Симпатии:
    1
    Пол:
    Мужской
    1. Как понять ручками?), вручную это как?))
    2. А ты уверен что такая карта не пойдёт?) Sitemap: http://news-gameworld.ru/index.php?option=com_xmap&sitemap=1&view=xml , я её добавил в веб панели яши и гугла и они таз загрузились. Или всё же должен быть формат .XML ? =)
     
    splint, 01.03.2011
    #17
  19. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума ⇒ Профи ⇐

    Регистрация:
    21.05.2010
    Сообщения:
    2 604
    Симпатии:
    322
    Пол:
    Мужской
    у тебя она и так динамическая xml (кто говорил что не пройдет? )) пройдет)) - просто не по стандартам все это ;)
     
    CB9T, 01.03.2011
    #18
  20. Offline

    artpsiholog Недавно здесь

    Регистрация:
    23.02.2011
    Сообщения:
    5
    Симпатии:
    0
    Пол:
    Мужской
    Сходил по ссылке и посмотрел карту - обычная стандартная карта.

    Почему не по стандартам-то? :)

    То что расширение файла отличное от xml? А разве поисковикам важен не сам файл (и не вано расширение), содержащий в себе xml код с картой сайта? %)
     
    artpsiholog, 01.03.2011
    #19
  21. splint
    Offline

    splint Пользователь

    Регистрация:
    17.11.2010
    Сообщения:
    216
    Симпатии:
    1
    Пол:
    Мужской
    splint, 02.03.2011
    #20
Страница 1 из 3
< Не отображается карточка товара в магазине | Не правильно вставляется ссылка!!! Помогите разобраться!!! >

Поделиться этой страницей

Загрузка...