Помогите отредактировать файл robot.txt

Discussion in 'SEO - оптимизация, продвижение' started by Валерия, Feb 27, 2008.

  1. Offline

    Валерия Недавно здесь

    Joined:
    Feb 2, 2008
    Messages:
    18
    Likes Received:
    0
    Помогите отредактировать файл robot.txt

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/

    Что нужно изменить для нормальной индексации поисковыми системами.
    Заранее признательна
     
  2.  
  3. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Joined:
    Apr 13, 2007
    Messages:
    3,685
    Likes Received:
    101
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    Этот нормальный.
     
  4. Fanamura
    Offline

    Fanamura Доброта

    Joined:
    Mar 12, 2007
    Messages:
    5,094
    Likes Received:
    158
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    Валерия, а почему этот Вас не устраивает?
     
  5. Offline

    painkiller Недавно здесь

    Joined:
    Feb 5, 2008
    Messages:
    47
    Likes Received:
    1
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    а я бы Disallow: /images/ удалил строчку.
    пусть поисковик картинки ищет, Google их любит, даже есть у него такая фишка как расширенный поиск картинок.
     
  6. Offline

    abricko Недавно здесь

    Joined:
    Feb 24, 2008
    Messages:
    15
    Likes Received:
    0
    Ответ: Помогите отредактировать файл robot.txt

    если удалить Disallow: /images/
    то картинки из фотогалереи тоже будут индексироваться? правильно понимаю?
     
  7. Garun
    Offline

    Garun Недавно здесь

    Joined:
    Sep 19, 2006
    Messages:
    13
    Likes Received:
    0
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/
    Host: www.site.ru

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/

    То бишь Disallow: /images/ нигде не указываем

    1. Для Яндекса указываем с директивой Host (только не забудьте вместо www.site.ru указать свой URL)
    2. А для всех остальных оставляем стандартный, только ни в коем случае не лепите туда Host - другие этой яндексовской фичи не поймут и проигнорируют robots.txt вовсе!
     
  8. Offline

    abricko Недавно здесь

    Joined:
    Feb 24, 2008
    Messages:
    15
    Likes Received:
    0
    Ответ: Помогите отредактировать файл robot.txt

    еще раз повторю проблему: у меня фото не индексируются... фотогаллерея фото держит в себя в папке которая находится в папке с компонентами. папки images у меня вообще нет...
    как быть?
     
  9. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Joined:
    Apr 13, 2007
    Messages:
    3,685
    Likes Received:
    101
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    Дак убери Disallow: /components/
     
  10. Offline

    Michael Недавно здесь

    Joined:
    Sep 22, 2005
    Messages:
    69
    Likes Received:
    0
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    А не лучше сделать симлинк на папку с картинками, чтобы робот не таскался по всем компонентам?
     
  11. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Joined:
    Apr 13, 2007
    Messages:
    3,685
    Likes Received:
    101
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    Симлинк откуда и куда? Как рассказать галерее о существовании симлинка.
     
  12. Offline

    abricko Недавно здесь

    Joined:
    Feb 24, 2008
    Messages:
    15
    Likes Received:
    0
    Ответ: Помогите отредактировать файл robot.txt

    что такое симлинк?
     
  13. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Joined:
    Apr 13, 2007
    Messages:
    3,685
    Likes Received:
    101
    Gender:
    Male
  14. Physicist
    Offline

    Physicist Недавно здесь

    Joined:
    Sep 12, 2006
    Messages:
    116
    Likes Received:
    10
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    Можно через директиву Allow разрешить доступ к конкретной папке в /components, оставив доступ к остальным папкам закрытым. Правда не все поисковики понимают эту директиву, но Яндекс вроде понимает.
     
  15. Offline

    Michael Недавно здесь

    Joined:
    Sep 22, 2005
    Messages:
    69
    Likes Received:
    0
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    Я думал, речь идет об индексации картинок галлереи. Если нужна индексация страниц - тогда конечно...
     
  16. Physicist
    Offline

    Physicist Недавно здесь

    Joined:
    Sep 12, 2006
    Messages:
    116
    Likes Received:
    10
    Gender:
    Male
    Ответ: Помогите отредактировать файл robot.txt

    В том-то и дело, что поисковику по барабану на существующий симлинк если компонент всё-равно генерирует ссылки на /components/com_.../..., которые запрещены в robots.txt.

    Правильно все-таки писать примерно так:
    Код (CODE):
    1. #Разрешаем индексацию папки с картинками (укажите нужный путь)
    2. Allow /components/com_.../...
    3. #Запрещаем индексацию папок с остальными компонентами
    4. Disallow /components
     
  17. Offline

    yasa Недавно здесь

    Joined:
    Mar 20, 2010
    Messages:
    4
    Likes Received:
    0
    Gender:
    Female
    Здравствуйте, только что проверяла через яшу свой файл Robots.txt И мне написал, что 1: О╩©User-agent: * - Неизвестная директива
    2: Disallow: /administrator/- Перед правилом нет директивы User-agent
    Вот так он загрузился на проверку на Яндекс.
    О╩©User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    А на хостинге он стоит так:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Что тут может быть не так? просто не очень в этом разбираюсь
     
  18. Offline

    fr57ee Недавно здесь

    Joined:
    Mar 28, 2010
    Messages:
    6
    Likes Received:
    0
    Gender:
    Male
    А никто не боится, что вместе с роботами он может пустить туда инъекцию или хакеров? ;)
     
  19. Offline

    igor-008 Недавно здесь

    Joined:
    Mar 14, 2012
    Messages:
    1
    Likes Received:
    0
    Gender:
    Male
    Добрый день! Помогите с настройкой robots.txt

    Установил 404SEF и не сразу до конца настроил. т.е. ссылки отображались в виде site.ru/index.php/категория/товар. а Яндекс успел проиндексировать несколько страниц в таком виде.
    На данный момент ссылка отображается в виде site.ru/категория/товар

    Сейчас у меня стоит такой robots.txt
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

    Подойдет ли мне такой robots.txt?
    User-agent: *
    Allow: /components/com_virtuemart/shop_image/category
    Allow: /components/com_virtuemart/shop_image/product
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: /shop/ask/
    Disallow: /index.php?
    Disallow: /index.php
    Disallow: /index2.php
    Disallow: /vmchk
    Disallow: /*?keyword=
    Disallow: /*?pop=0
    Disallow: /*product-search
    Disallow: /*?flypage=
    Disallow: /cart
    Disallow: /*?
    Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

    И еще есть папки Links (ссылки в формате html)

    Стоит ли закрывать images?
    Links не надо закрывать?
     

Share This Page

Loading...