Помогите отредактировать файл robot.txt

Тема в разделе "SEO - оптимизация, продвижение", создана пользователем Валерия, 27.02.2008.

  1. Offline

    Валерия Недавно здесь

    Регистрация:
    02.02.2008
    Сообщения:
    18
    Симпатии:
    0
    Помогите отредактировать файл robot.txt

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/

    Что нужно изменить для нормальной индексации поисковыми системами.
    Заранее признательна
     
  2.  
  3. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Регистрация:
    13.04.2007
    Сообщения:
    3 685
    Симпатии:
    101
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    Этот нормальный.
     
  4. Fanamura
    Offline

    Fanamura Доброта

    Регистрация:
    12.03.2007
    Сообщения:
    5 094
    Симпатии:
    158
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    Валерия, а почему этот Вас не устраивает?
     
  5. Offline

    painkiller Недавно здесь

    Регистрация:
    05.02.2008
    Сообщения:
    47
    Симпатии:
    1
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    а я бы Disallow: /images/ удалил строчку.
    пусть поисковик картинки ищет, Google их любит, даже есть у него такая фишка как расширенный поиск картинок.
     
  6. Offline

    abricko Недавно здесь

    Регистрация:
    24.02.2008
    Сообщения:
    15
    Симпатии:
    0
    Ответ: Помогите отредактировать файл robot.txt

    если удалить Disallow: /images/
    то картинки из фотогалереи тоже будут индексироваться? правильно понимаю?
     
  7. Garun
    Offline

    Garun Недавно здесь

    Регистрация:
    19.09.2006
    Сообщения:
    13
    Симпатии:
    0
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/
    Host: www.site.ru

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/

    То бишь Disallow: /images/ нигде не указываем

    1. Для Яндекса указываем с директивой Host (только не забудьте вместо www.site.ru указать свой URL)
    2. А для всех остальных оставляем стандартный, только ни в коем случае не лепите туда Host - другие этой яндексовской фичи не поймут и проигнорируют robots.txt вовсе!
     
  8. Offline

    abricko Недавно здесь

    Регистрация:
    24.02.2008
    Сообщения:
    15
    Симпатии:
    0
    Ответ: Помогите отредактировать файл robot.txt

    еще раз повторю проблему: у меня фото не индексируются... фотогаллерея фото держит в себя в папке которая находится в папке с компонентами. папки images у меня вообще нет...
    как быть?
     
  9. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Регистрация:
    13.04.2007
    Сообщения:
    3 685
    Симпатии:
    101
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    Дак убери Disallow: /components/
     
  10. Offline

    Michael Недавно здесь

    Регистрация:
    22.09.2005
    Сообщения:
    69
    Симпатии:
    0
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    А не лучше сделать симлинк на папку с картинками, чтобы робот не таскался по всем компонентам?
     
  11. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Регистрация:
    13.04.2007
    Сообщения:
    3 685
    Симпатии:
    101
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    Симлинк откуда и куда? Как рассказать галерее о существовании симлинка.
     
  12. Offline

    abricko Недавно здесь

    Регистрация:
    24.02.2008
    Сообщения:
    15
    Симпатии:
    0
    Ответ: Помогите отредактировать файл robot.txt

    что такое симлинк?
     
  13. Dead Krolik
    Offline

    Dead Krolik Недавно здесь => Cпециалист <=

    Регистрация:
    13.04.2007
    Сообщения:
    3 685
    Симпатии:
    101
    Пол:
    Мужской
  14. Physicist
    Offline

    Physicist Недавно здесь

    Регистрация:
    12.09.2006
    Сообщения:
    116
    Симпатии:
    10
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    Можно через директиву Allow разрешить доступ к конкретной папке в /components, оставив доступ к остальным папкам закрытым. Правда не все поисковики понимают эту директиву, но Яндекс вроде понимает.
     
  15. Offline

    Michael Недавно здесь

    Регистрация:
    22.09.2005
    Сообщения:
    69
    Симпатии:
    0
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    Я думал, речь идет об индексации картинок галлереи. Если нужна индексация страниц - тогда конечно...
     
  16. Physicist
    Offline

    Physicist Недавно здесь

    Регистрация:
    12.09.2006
    Сообщения:
    116
    Симпатии:
    10
    Пол:
    Мужской
    Ответ: Помогите отредактировать файл robot.txt

    В том-то и дело, что поисковику по барабану на существующий симлинк если компонент всё-равно генерирует ссылки на /components/com_.../..., которые запрещены в robots.txt.

    Правильно все-таки писать примерно так:
    Код (CODE):
    1. #Разрешаем индексацию папки с картинками (укажите нужный путь)
    2. Allow /components/com_.../...
    3. #Запрещаем индексацию папок с остальными компонентами
    4. Disallow /components
     
  17. Offline

    yasa Недавно здесь

    Регистрация:
    20.03.2010
    Сообщения:
    4
    Симпатии:
    0
    Пол:
    Женский
    Здравствуйте, только что проверяла через яшу свой файл Robots.txt И мне написал, что 1: О╩©User-agent: * - Неизвестная директива
    2: Disallow: /administrator/- Перед правилом нет директивы User-agent
    Вот так он загрузился на проверку на Яндекс.
    О╩©User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    А на хостинге он стоит так:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Что тут может быть не так? просто не очень в этом разбираюсь
     
  18. Offline

    fr57ee Недавно здесь

    Регистрация:
    28.03.2010
    Сообщения:
    6
    Симпатии:
    0
    Пол:
    Мужской
    А никто не боится, что вместе с роботами он может пустить туда инъекцию или хакеров? ;)
     
  19. Offline

    igor-008 Недавно здесь

    Регистрация:
    14.03.2012
    Сообщения:
    1
    Симпатии:
    0
    Пол:
    Мужской
    Добрый день! Помогите с настройкой robots.txt

    Установил 404SEF и не сразу до конца настроил. т.е. ссылки отображались в виде site.ru/index.php/категория/товар. а Яндекс успел проиндексировать несколько страниц в таком виде.
    На данный момент ссылка отображается в виде site.ru/категория/товар

    Сейчас у меня стоит такой robots.txt
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

    Подойдет ли мне такой robots.txt?
    User-agent: *
    Allow: /components/com_virtuemart/shop_image/category
    Allow: /components/com_virtuemart/shop_image/product
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: /shop/ask/
    Disallow: /index.php?
    Disallow: /index.php
    Disallow: /index2.php
    Disallow: /vmchk
    Disallow: /*?keyword=
    Disallow: /*?pop=0
    Disallow: /*product-search
    Disallow: /*?flypage=
    Disallow: /cart
    Disallow: /*?
    Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

    И еще есть папки Links (ссылки в формате html)

    Стоит ли закрывать images?
    Links не надо закрывать?
     

Поделиться этой страницей

Загрузка...