директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запрети

Тема в разделе "Общие вопросы SEO", создана пользователем chilly_bang, 22.10.2007.

  1. chilly_bang
    Offline

    chilly_bang специалист

    Регистрация:
    30.04.2006
    Сообщения:
    1 545
    Симпатии:
    38
    Пол:
    Мужской
    приветствую.

    есть директория, доступ к которой закрыт для роботов через robots.txt надписью Disallow: /directory/.
    несмотря на запрещение один файл (из многих, лежащих в этой директории) появился в индексе.
    вопросы:
    • как убрать из индекса,
    • почему вдруг файл проиндексировался несмотря на однозначный запрет,
    • есть ли ещё какие-то методы запрета?

    спасибо
     
  2.  
  3. Offline

    AnthonyS Russian Joomla! Team

    Регистрация:
    07.08.2006
    Сообщения:
    273
    Симпатии:
    6
    Пол:
    Мужской
    Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

    Если речь идет о Яндексе - то robots.txt для него не указ
    есть жеский метод, и наверно единственный от его произвола(беспредела)
    .htaccess
    Код (CODE):
    1. Order Deny,Allow
    2. #запретить доступ YANDEX-BIGSEARCH3
    3. Deny from 87.250.
    4. #запретить доступ YANDEX-BIGSEARCH2 & Yandex corporate network
    5. Deny from 213.180.
    6. #запретить доступ непонятного робота
    7. Deny from 189.139.45.156
    8. Deny from 38.99.203.110
    9. #запретить доступ робота mail.ru
    10. Deny from 194.186.55.207

    Хотя, так, говорят, можно и на неприятности нарваться - типа это разновидность клоакинга
    т.е. если Я будет лазить туда каким-то секретным роботом с америкосным IP, - но это я слышал только по слухам,
    с др. стороны - робот то вроде запрещает это ...
    от гугля так не получится, слишком уж много у него разных роботов
     
  4. chilly_bang
    Offline

    chilly_bang специалист

    Регистрация:
    30.04.2006
    Сообщения:
    1 545
    Симпатии:
    38
    Пол:
    Мужской
    Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

    речь именно о гугле. роботс.тхт гуглу тоже не указ? зараза какая, читает, что хочет, и разрешения не спрашивает... пручём ни одной ссылки на этот файл нет, и в карте сайта этот файл не участвует. гугл его прочитал и теперь, в теории, может страницу закрыть за клоакинг/использование невидимых для посетителей страниц...
     
  5. Offline

    AnthonyS Russian Joomla! Team

    Регистрация:
    07.08.2006
    Сообщения:
    273
    Симпатии:
    6
    Пол:
    Мужской
    Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

    попробуй исключить это все через http://www.google.com/webmasters/tools
     
  6. Offline

    Максимcase Недавно здесь

    Регистрация:
    23.05.2009
    Сообщения:
    8
    Симпатии:
    0
    Пол:
    Мужской
    Меня интересует вопрос можно ли Robots.txt прописать Disallow: /view-document-details*, sh404SEF создает ЧПУ ссылки вида http://www.k-volt.ru/view-document-details........., я не хочу, чтобы роботы индексировали эти страницы
     

Поделиться этой страницей

Загрузка...