Небольшой вопрос. На моем джумла-сайте стоят компонент Rokbridge и форум phpBB3. Папка форума лежит в корне папки джумлы и называется distribution, компонент Rokbridge - это мост, который позволяет регаться одновременно на форуме и сайте и который делает нужные сайту ссылки типа Ваш-сайт/forum , а не distribution. Но в форум phpBB3, естесственно, можно зайти не только через Ваш-сайт/forum , но и через Ваш-сайт/distribution . Значит, мне лучше запретить индексацию distribution в robots.txt?
Как бы давно замечено, скрипты phpBB3 устроены так, что не смотря на robot.txt боты заходят на форум через день после его открытия
