Есть каталог материалов, каждый материал выводится в отдельный пункт меню на главную страницу, т.е. все страницы из этого меню имеют второй уровен. Но в главном меню есть ссылка на Каталог в котором есть ссылки на эти же материалы. т.е. если считать с главной страницы, теперь все страницы с материалом имеют третий уровень вложенности... теперь вопрос как закрыть от индексации ссылки со страницы каталога(она создается динамически при переходе из главного меню), Или как закрыть пункт "каталог" в главном меню, но отображаться он должен? закрываю от индексации роботами
В файле robots.txt пишем Disallow: www.адрес траницы которую запретить хотите для индексации.ru или достаточно просто через /адрес сттраницы.php
И еще один вопрос, установил карту сайта, подключил к меню. ссылка на карту появилась в роботс.тхт, а теперь сам вопрос: если убрать это меня а в роботс.тхт, а сцыль оставить, будет ли поисковик учитывать эту ссылку и пройдется ли он по карте?