директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запрети

Discussion in 'Общие вопросы SEO' started by chilly_bang, Oct 22, 2007.

  1. chilly_bang
    Offline

    chilly_bang Недавно здесь => Cпециалист <=

    Joined:
    Apr 30, 2006
    Messages:
    1,541
    Likes Received:
    38
    Gender:
    Male
    приветствую.

    есть директория, доступ к которой закрыт для роботов через robots.txt надписью Disallow: /directory/.
    несмотря на запрещение один файл (из многих, лежащих в этой директории) появился в индексе.
    вопросы:
    • как убрать из индекса,
    • почему вдруг файл проиндексировался несмотря на однозначный запрет,
    • есть ли ещё какие-то методы запрета?

    спасибо
     
    chilly_bang, Oct 22, 2007
    #1

  2. Ads Master

     
  3. Offline

    AnthonyS Russian Joomla! Team

    Joined:
    Aug 7, 2006
    Messages:
    263
    Likes Received:
    6
    Gender:
    Male
    Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

    Если речь идет о Яндексе - то robots.txt для него не указ
    есть жеский метод, и наверно единственный от его произвола(беспредела)
    .htaccess
    Код (CODE):
    1. Order Deny,Allow
    2. #запретить доступ YANDEX-BIGSEARCH3
    3. Deny from 87.250.
    4. #запретить доступ YANDEX-BIGSEARCH2 & Yandex corporate network
    5. Deny from 213.180.
    6. #запретить доступ непонятного робота
    7. Deny from 189.139.45.156
    8. Deny from 38.99.203.110
    9. #запретить доступ робота mail.ru
    10. Deny from 194.186.55.207

    Хотя, так, говорят, можно и на неприятности нарваться - типа это разновидность клоакинга
    т.е. если Я будет лазить туда каким-то секретным роботом с америкосным IP, - но это я слышал только по слухам,
    с др. стороны - робот то вроде запрещает это ...
    от гугля так не получится, слишком уж много у него разных роботов
     
    AnthonyS, Oct 22, 2007
    #2
  4. chilly_bang
    Offline

    chilly_bang Недавно здесь => Cпециалист <=

    Joined:
    Apr 30, 2006
    Messages:
    1,541
    Likes Received:
    38
    Gender:
    Male
    Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

    речь именно о гугле. роботс.тхт гуглу тоже не указ? зараза какая, читает, что хочет, и разрешения не спрашивает... пручём ни одной ссылки на этот файл нет, и в карте сайта этот файл не участвует. гугл его прочитал и теперь, в теории, может страницу закрыть за клоакинг/использование невидимых для посетителей страниц...
     
    chilly_bang, Oct 22, 2007
    #3
  5. Offline

    AnthonyS Russian Joomla! Team

    Joined:
    Aug 7, 2006
    Messages:
    263
    Likes Received:
    6
    Gender:
    Male
    Ответ: директория закрыта через robots.txt надписью Disallow: /directory/ - файл индексируется. как запретить индексацию?

    попробуй исключить это все через http://www.google.com/webmasters/tools
     
    AnthonyS, Oct 28, 2007
    #4
  6. Offline

    Максимcase Недавно здесь

    Joined:
    May 23, 2009
    Messages:
    8
    Likes Received:
    0
    Gender:
    Male
    Меня интересует вопрос можно ли Robots.txt прописать Disallow: /view-document-details*, sh404SEF создает ЧПУ ссылки вида http://www.k-volt.ru/view-document-details........., я не хочу, чтобы роботы индексировали эти страницы
     
    Максимcase, Sep 6, 2009
    #5
< h1 вместо h2 | Как вручную создать карту сайта для google Joomla 1.5.11 >

Share This Page

Loading...