Помогите отредактировать файл robot.txt

Помогите отредактировать файл robot.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Что нужно изменить для нормальной индексации поисковыми системами.
Заранее признательна

 

Ответ: Помогите отредактировать файл robot.txt

Этот нормальный.

 

Ответ: Помогите отредактировать файл robot.txt

Валерия, а почему этот Вас не устраивает?

 

Ответ: Помогите отредактировать файл robot.txt

а я бы Disallow: /images/ удалил строчку.
пусть поисковик картинки ищет, Google их любит, даже есть у него такая фишка как расширенный поиск картинок.

 

Ответ: Помогите отредактировать файл robot.txt

если удалить Disallow: /images/
то картинки из фотогалереи тоже будут индексироваться? правильно понимаю?

 

Ответ: Помогите отредактировать файл robot.txt

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Host: www.site.ru

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

То бишь Disallow: /images/ нигде не указываем

1. Для Яндекса указываем с директивой Host (только не забудьте вместо www.site.ru указать свой URL)
2. А для всех остальных оставляем стандартный, только ни в коем случае не лепите туда Host - другие этой яндексовской фичи не поймут и проигнорируют robots.txt вовсе!

 

Ответ: Помогите отредактировать файл robot.txt

еще раз повторю проблему: у меня фото не индексируются... фотогаллерея фото держит в себя в папке которая находится в папке с компонентами. папки images у меня вообще нет...
как быть?

 

Ответ: Помогите отредактировать файл robot.txt

Дак убери Disallow: /components/

 

Ответ: Помогите отредактировать файл robot.txt

А не лучше сделать симлинк на папку с картинками, чтобы робот не таскался по всем компонентам?

 

Ответ: Помогите отредактировать файл robot.txt

Симлинк откуда и куда? Как рассказать галерее о существовании симлинка.

 

Ответ: Помогите отредактировать файл robot.txt

что такое симлинк?

 

Ответ: Помогите отредактировать файл robot.txt

читаем википедиков, и не задаем лишних вопросов

Но я не сильно верю в возможность реализации таким образом.

 

Ответ: Помогите отредактировать файл robot.txt

Можно через директиву Allow разрешить доступ к конкретной папке в /components, оставив доступ к остальным папкам закрытым. Правда не все поисковики понимают эту директиву, но Яндекс вроде понимает.

 

Ответ: Помогите отредактировать файл robot.txt

Я думал, речь идет об индексации картинок галлереи. Если нужна индексация страниц - тогда конечно...

 

Ответ: Помогите отредактировать файл robot.txt

В том-то и дело, что поисковику по барабану на существующий симлинк если компонент всё-равно генерирует ссылки на /components/com_.../..., которые запрещены в robots.txt.

Правильно все-таки писать примерно так:

Код (CODE):

1. #Разрешаем индексацию папки с картинками (укажите нужный путь)
2. Allow /components/com_.../...
3. #Запрещаем индексацию папок с остальными компонентами
4. Disallow /components

 

Здравствуйте, только что проверяла через яшу свой файл Robots.txt И мне написал, что 1: О╩©User-agent: * - Неизвестная директива
2: Disallow: /administrator/- Перед правилом нет директивы User-agent
Вот так он загрузился на проверку на Яндекс.
О╩©User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
А на хостинге он стоит так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Что тут может быть не так? просто не очень в этом разбираюсь

 

А никто не боится, что вместе с роботами он может пустить туда инъекцию или хакеров?

 

Добрый день! Помогите с настройкой robots.txt

Установил 404SEF и не сразу до конца настроил. т.е. ссылки отображались в виде site.ru/index.php/категория/товар. а Яндекс успел проиндексировать несколько страниц в таком виде.
На данный момент ссылка отображается в виде site.ru/категория/товар

Сейчас у меня стоит такой robots.txt
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Подойдет ли мне такой robots.txt?
User-agent: *
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index.php
Disallow: /index2.php
Disallow: /vmchk
Disallow: /*?keyword=
Disallow: /*?pop=0
Disallow: /*product-search
Disallow: /*?flypage=
Disallow: /cart
Disallow: /*?
Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

И еще есть папки Links (ссылки в формате html)

Стоит ли закрывать images?
Links не надо закрывать?