Что должнобыть в robots.txt?

у меня в роботс.тхт кроме администратор ещё вот такой список папок..
скажите пожалуйста он нужен там?

п.с.подскажите где в joomla хранятся тексты статей? - содержание, названия меню.. и др. тобиш сам контент..
в каком файле?

 

Реально - пофигу. Закрывать images я бы не стал. А все остальное - шляпа и сделано исключительно для красоты. Тексты статей хранятся в базе.

 

Есть два сайта, один ucozовский, другой делал на joomla. Написал статьи опубликовал на сайте с joomlа, через некоторое время на сайте ucoz. В результат через несколько месяцев сайт ucoz второй в выдаче по требуемому запросу, а сайта на joomla в выдаче нет вообще. Как такое может быть? посещаемость сайтов примерно одинаковая, внешних ссылок на сайт jооmla больше... У меня вывод напрашивается только один. Требуемые страницы с материалами не проиндексированы. Что может помешать индексированию кроме robots.txt?

 

Неуникальность контента?

 

Сайт представляет собой интернет магазин. Статьи о товарах в 99 процентах случаев уникальны. А вот что касается описаний товара, там информация с сайта производителя. Можно ли закрыть описания товаров для индексации, или полностью закрыть virtuemart для индексации?

 

У меня тоже в robots.txt закрыт от индексации component, но в яндексе выдача следующая на главную страницу вот так www.i......ru/component/content/frontpage.html
странно, как закрыть от индексации то?

 

вот вроде как правильный файл для роботов. Фигня конечно, но у меня работает..
папка images открыта для индексации

пользуйтесь на здоровье.. и спасибо за "спасибо"