Как правильно составить Robot.txt

Тема в разделе "Общие вопросы SEO", создана пользователем Dmitr777, 14.09.2012.

  1. Offline

    Dmitr777 Заблокирован

    Регистрация:
    14.09.2012
    Сообщения:
    17
    Симпатии:
    0
    Пол:
    Мужской
    Скажите, я правильно прописал карту сайта ???? Я ее случайно не закрыл????

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Allow: /
    Sitemap: http://euronovosti.net/index.php?option=com_xmap&sitemap=1&view=xml
     
  2.  
  3. draff
    Offline

    draff Russian Joomla! Team Команда форума

    Регистрация:
    17.01.2011
    Сообщения:
    6 044
    Симпатии:
    519
    Пол:
    Мужской
    Как то непонятно.Запрет,а потом открыть всё.
    Ты точно знаешь алгоритм сканирования Яботом ?
    п.с.
    И не дублируй темы.Если никто не ответил,то что новая тема поможет?
     
  4. Offline

    Dmitr777 Заблокирован

    Регистрация:
    14.09.2012
    Сообщения:
    17
    Симпатии:
    0
    Пол:
    Мужской
    Я не знаю алгоритм. Составил по примерам других сайтов.
    А какой вариант будит оптимальным, как лучше написать, что б индексация нормально проходила и открыть для поиска карту
     
  5. joomguru
    Offline

    joomguru Модератор

    Регистрация:
    03.12.2010
    Сообщения:
    455
    Симпатии:
    74
    Пол:
    Мужской
    Вот такой общий пример.
    Код (CODE):
    1. User-agent: Yandex
    2. Disallow: /administrator/
    3. Disallow: /cache/
    4. Disallow: /components/
    5. Disallow: /cli/
    6. Disallow: /images/
    7. Disallow: /includes/
    8. Disallow: /installation/
    9. Disallow: /language/
    10. Disallow: /libraries/
    11. Disallow: /logs/
    12. Disallow: /media/
    13. Disallow: /modules/
    14. Disallow: /plugins/
    15. Disallow: /templates/
    16. Disallow: /tmp/
    17. Disallow: /*mailto*
    18. Disallow: /*start*
    19. Disallow: /*print*
    20. Disallow: /*feed*
    21. Disallow: /*search*
    22. Disallow: /*users*
    23. Host: yoursite.ru
    24. Sitemap: ссылка на карту сайта
    25.  
    26. User-agent: *
    27. Disallow: /administrator/
    28. Disallow: /cache/
    29. Disallow: /components/
    30. Disallow: /cli/
    31. Disallow: /images/
    32. Disallow: /includes/
    33. Disallow: /installation/
    34. Disallow: /language/
    35. Disallow: /libraries/
    36. Disallow: /logs/
    37. Disallow: /media/
    38. Disallow: /modules/
    39. Disallow: /plugins/
    40. Disallow: /templates/
    41. Disallow: /tmp/
    42. Disallow: /*mailto*
    43. Disallow: /*start*
    44. Disallow: /*print*
    45. Disallow: /*feed*
    46. Disallow: /*search*
    47. Disallow: /*users*
     
  6. Offline

    Dmitr777 Заблокирован

    Регистрация:
    14.09.2012
    Сообщения:
    17
    Симпатии:
    0
    Пол:
    Мужской
  7. joomguru
    Offline

    joomguru Модератор

    Регистрация:
    03.12.2010
    Сообщения:
    455
    Симпатии:
    74
    Пол:
    Мужской
    Для поисковиков XML лучше. И не нужно вот это - Allow: /
     
    Dmitr777 нравится это.
  8. Offline

    Dmitr777 Заблокирован

    Регистрация:
    14.09.2012
    Сообщения:
    17
    Симпатии:
    0
    Пол:
    Мужской
    Я заметил, что на разных сайтах, прописывают по разному строку карты, не знаю как правильно, где просто ссылку пишут, где ссылаются на htm

    Sitemap: http://euronovosti.net/index.php?option=com_xmap&sitemap=1&view=xml Это правильно, подскажите ???
     
  9. draff
    Offline

    draff Russian Joomla! Team Команда форума

    Регистрация:
    17.01.2011
    Сообщения:
    6 044
    Симпатии:
    519
    Пол:
    Мужской
    Dmitr777 нравится это.
  10. Offline

    Roin Пользователь

    Регистрация:
    02.04.2013
    Сообщения:
    32
    Симпатии:
    0
    Пол:
    Мужской
    Скажите пожалуйста, если включен стандартный SEF и получаются ссылки вроде http://misite.ru/raznoe/kompyuter/27-posledstviya-kompyuter , то целесобразно ли добавить эти строки:
    Код (CODE):
    1. Disallow: /404
    2. Disallow: /*?
    3. Disallow: /*&
    4. Disallow: /index.php?
    5. Disallow: /index.php
    6. Disallow: /index.html

    ?
    И что обозначает звездочка после выражения, допустим если написать Disallow: /*?*
     
  11. CB9T
    Offline

    CB9T Преподаватель по J! Команда форума

    Регистрация:
    21.05.2010
    Сообщения:
    2 464
    Симпатии:
    305
    Пол:
    Мужской

Поделиться этой страницей

Загрузка...