директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запрети

приветствую.

есть директория, доступ к которой закрыт для роботов через robots.txt надписью Disallow: /directory/.
несмотря на запрещение один файл (из многих, лежащих в этой директории) появился в индексе.
вопросы:

• как убрать из индекса,
• почему вдруг файл проиндексировался несмотря на однозначный запрет,
• есть ли ещё какие-то методы запрета?

спасибо

 

Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

Если речь идет о Яндексе - то robots.txt для него не указ
есть жеский метод, и наверно единственный от его произвола(беспредела)
.htaccess

Код (CODE):

1. Order Deny,Allow
2. #запретить доступ YANDEX-BIGSEARCH3
3. Deny from 87.250.
4. #запретить доступ YANDEX-BIGSEARCH2 & Yandex corporate network
5. Deny from 213.180.
6. #запретить доступ непонятного робота
7. Deny from 189.139.45.156
8. Deny from 38.99.203.110
9. #запретить доступ робота mail.ru
10. Deny from 194.186.55.207

Хотя, так, говорят, можно и на неприятности нарваться - типа это разновидность клоакинга
т.е. если Я будет лазить туда каким-то секретным роботом с америкосным IP, - но это я слышал только по слухам,
с др. стороны - робот то вроде запрещает это ...
от гугля так не получится, слишком уж много у него разных роботов

 

Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

речь именно о гугле. роботс.тхт гуглу тоже не указ? зараза какая, читает, что хочет, и разрешения не спрашивает... пручём ни одной ссылки на этот файл нет, и в карте сайта этот файл не участвует. гугл его прочитал и теперь, в теории, может страницу закрыть за клоакинг/использование невидимых для посетителей страниц...

 

Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

попробуй исключить это все через http://www.google.com/webmasters/tools

 

Меня интересует вопрос можно ли Robots.txt прописать Disallow: /view-document-details*, sh404SEF создает ЧПУ ссылки вида http://www.k-volt.ru/view-document-details........., я не хочу, чтобы роботы индексировали эти страницы