Как правильно составить Robot.txt

Discussion in 'Общие вопросы SEO' started by Dmitr777, Sep 14, 2012.

  1. Offline

    Dmitr777 Заблокирован

    Joined:
    Sep 14, 2012
    Messages:
    17
    Likes Received:
    0
    Gender:
    Male
    Скажите, я правильно прописал карту сайта ???? Я ее случайно не закрыл????

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Allow: /
    Sitemap: http://euronovosti.net/index.php?option=com_xmap&sitemap=1&view=xml
     
    Dmitr777, Sep 14, 2012
    #1

  2. Ads Master

     
  3. OlegK
    Offline

    OlegK Russian Joomla! Team Staff Member ⇒ Профи ⇐

    Joined:
    Jan 17, 2011
    Messages:
    7,812
    Likes Received:
    771
    Gender:
    Male
    Как то непонятно.Запрет,а потом открыть всё.
    Ты точно знаешь алгоритм сканирования Яботом ?
    п.с.
    И не дублируй темы.Если никто не ответил,то что новая тема поможет?
     
    OlegK, Sep 14, 2012
    #2
  4. Offline

    Dmitr777 Заблокирован

    Joined:
    Sep 14, 2012
    Messages:
    17
    Likes Received:
    0
    Gender:
    Male
    Я не знаю алгоритм. Составил по примерам других сайтов.
    А какой вариант будит оптимальным, как лучше написать, что б индексация нормально проходила и открыть для поиска карту
     
    Dmitr777, Sep 14, 2012
    #3
  5. joomguru
    Offline

    joomguru Модератор => Cпециалист <=

    Joined:
    Dec 3, 2010
    Messages:
    456
    Likes Received:
    77
    Gender:
    Male
    Вот такой общий пример.
    Код (CODE):
    1. User-agent: Yandex
    2. Disallow: /administrator/
    3. Disallow: /cache/
    4. Disallow: /components/
    5. Disallow: /cli/
    6. Disallow: /images/
    7. Disallow: /includes/
    8. Disallow: /installation/
    9. Disallow: /language/
    10. Disallow: /libraries/
    11. Disallow: /logs/
    12. Disallow: /media/
    13. Disallow: /modules/
    14. Disallow: /plugins/
    15. Disallow: /templates/
    16. Disallow: /tmp/
    17. Disallow: /*mailto*
    18. Disallow: /*start*
    19. Disallow: /*print*
    20. Disallow: /*feed*
    21. Disallow: /*search*
    22. Disallow: /*users*
    23. Host: yoursite.ru
    24. Sitemap: ссылка на карту сайта
    25.  
    26. User-agent: *
    27. Disallow: /administrator/
    28. Disallow: /cache/
    29. Disallow: /components/
    30. Disallow: /cli/
    31. Disallow: /images/
    32. Disallow: /includes/
    33. Disallow: /installation/
    34. Disallow: /language/
    35. Disallow: /libraries/
    36. Disallow: /logs/
    37. Disallow: /media/
    38. Disallow: /modules/
    39. Disallow: /plugins/
    40. Disallow: /templates/
    41. Disallow: /tmp/
    42. Disallow: /*mailto*
    43. Disallow: /*start*
    44. Disallow: /*print*
    45. Disallow: /*feed*
    46. Disallow: /*search*
    47. Disallow: /*users*
     
    joomguru, Sep 14, 2012
    #4
  6. Offline

    Dmitr777 Заблокирован

    Joined:
    Sep 14, 2012
    Messages:
    17
    Likes Received:
    0
    Gender:
    Male
    Dmitr777, Sep 15, 2012
    #5
  7. joomguru
    Offline

    joomguru Модератор => Cпециалист <=

    Joined:
    Dec 3, 2010
    Messages:
    456
    Likes Received:
    77
    Gender:
    Male
    Для поисковиков XML лучше. И не нужно вот это - Allow: /
     
    joomguru, Sep 15, 2012
    #6
    Dmitr777 likes this.
  8. Offline

    Dmitr777 Заблокирован

    Joined:
    Sep 14, 2012
    Messages:
    17
    Likes Received:
    0
    Gender:
    Male
    Я заметил, что на разных сайтах, прописывают по разному строку карты, не знаю как правильно, где просто ссылку пишут, где ссылаются на htm

    Sitemap: http://euronovosti.net/index.php?option=com_xmap&sitemap=1&view=xml Это правильно, подскажите ???
     
    Dmitr777, Sep 15, 2012
    #7
  9. OlegK
    Offline

    OlegK Russian Joomla! Team Staff Member ⇒ Профи ⇐

    Joined:
    Jan 17, 2011
    Messages:
    7,812
    Likes Received:
    771
    Gender:
    Male
    OlegK, Sep 15, 2012
    #8
    Dmitr777 likes this.
  10. Offline

    Roin Пользователь

    Joined:
    Apr 2, 2013
    Messages:
    39
    Likes Received:
    0
    Gender:
    Male
    Скажите пожалуйста, если включен стандартный SEF и получаются ссылки вроде http://misite.ru/raznoe/kompyuter/27-posledstviya-kompyuter , то целесобразно ли добавить эти строки:
    Код (CODE):
    1. Disallow: /404
    2. Disallow: /*?
    3. Disallow: /*&
    4. Disallow: /index.php?
    5. Disallow: /index.php
    6. Disallow: /index.html

    ?
    И что обозначает звездочка после выражения, допустим если написать Disallow: /*?*
     
    Roin, Apr 2, 2013
    #9
  11. CB9T
    Offline

    CB9T Преподаватель по J! Staff Member ⇒ Профи ⇐

    Joined:
    May 21, 2010
    Messages:
    2,604
    Likes Received:
    322
    Gender:
    Male
    Код (PHP):
    1. Disallow: /*?*


    всё, что содержит знак вопроса
     
    CB9T, Apr 2, 2013
    #10
< С чего начать продвижение сайта? | Как сделать редирект ссылок типа "?option/cat/" на главную страницу сайта? >

Share This Page

Loading...