Амперсанд, гугл и robots.txt. Не удаляются ссылки из индекса.

Тема в разделе "Общие вопросы SEO", создана пользователем deniro21, 02.07.2010.

  1. deniro21
    Offline

    deniro21 Пользователь

    Регистрация:
    23.11.2009
    Сообщения:
    107
    Симпатии:
    4
    Пол:
    Мужской
    Всем привет. Проблема в следующем. В индекс гугла попали ненужные страницы. Я решил их запретить к индексации и затем удалить из кеша гугла (через панель инструментов). Для начала добавил неугодные ссылки в robots.txt вот в таком виде:

    Disallow: /index.php?option=com_jreviews&Itemid=&url=my-reviews*

    Затем, в панели гугла начал оставлять заявки на удаление ссылок вида:

    http://sitename/index.php?option=com_jreviews&Itemid=&url=my-reviews/user:66/
    http://sitename/index.php?option=com_jreviews&Itemid=&url=my-reviews/user:87/ и так далее, по всему списку проиндексированных урлов.

    Но Google отказывается их удалять, потому что якобы не выполнено ни одно из условий удаления (надо либо удалить страницу, либо защитить ее тегом noindex, либо запретить в robots.txt)
    В панели удаления, скормленые мною ссылки выглядят вот так:

    http://sitename/index.php?option=com_jreviews&Itemid=&url=my-reviews/user:66/

    Т.е. добавляется (вернее заменяется) амперсанд "&". В соседней теме, мы обсуждали то, что в принципе формат аперсандов значения не имеет, и поисковик должен все съесть. Но что-то вот не хочет зараза. И у меня вопрос: я что-то неправильно прописал в robots.txt, или в нем надо запрещать ссылки с amp;, т.е. так, как их видит сам Google?
     
  2.  
  3. woojin
    Offline

    woojin Местный Команда форума => Cпециалист <=

    Регистрация:
    31.05.2009
    Сообщения:
    3 204
    Симпатии:
    334
    Пол:
    Мужской
    попробуйте тут:
    сделать также как и тут:
    тогда возможно условение ROBOTS.TXT будет выполнено
     
  4. deniro21
    Offline

    deniro21 Пользователь

    Регистрация:
    23.11.2009
    Сообщения:
    107
    Симпатии:
    4
    Пол:
    Мужской
    Тогда получится, что мне для каждого пользователя, который зарегистрировался или зарегистриурется на сайте, придется добавлять строчку в robots.txt. Потому что /user:xx/ в конце - это идентификатор юзера, и по этой ссылке можно смотреть то, что он написал на сайте. Вообще конечно странно, почему гугл не хочет понимать robots.txt . Потому что если указан запрет на ссылку, то поисковик должен обходить стороной все, что начинается с нее.... Сейчас все таки попробую прописать с amp. По результатам отпишусь.
     
  5. woojin
    Offline

    woojin Местный Команда форума => Cпециалист <=

    Регистрация:
    31.05.2009
    Сообщения:
    3 204
    Симпатии:
    334
    Пол:
    Мужской
    вообще то я имел в виду вот это прописать в ROBOTS.TXT

    а по поводу пользователя, можно сделать небойльшой скриптик который будет запускаться по комманде CRON'a у 90% хостеров эта услуга (CRON) имеется и будет сравнивать пользователей в базе с пользователями в ROBOTS.TXT и если во втором не окажется тех которые есть в базе, то будет их просто туда дописывать

    дерзайте;)
     
  6. deniro21
    Offline

    deniro21 Пользователь

    Регистрация:
    23.11.2009
    Сообщения:
    107
    Симпатии:
    4
    Пол:
    Мужской
    В общем проставил в robots.txt ссылки с amp; и гугл все удалил.:)
     
  7. woojin
    Offline

    woojin Местный Команда форума => Cпециалист <=

    Регистрация:
    31.05.2009
    Сообщения:
    3 204
    Симпатии:
    334
    Пол:
    Мужской
    ну вот значит в этом дело и было!!!!!!!
     
  8. OlegM
    Offline

    OlegM Russian Joomla! Team Команда форума

    Регистрация:
    12.04.2007
    Сообщения:
    4 310
    Симпатии:
    375
    Пол:
    Мужской
    deniro21, что ж ты упрямый такой - не учишь мануалы? :)

    Достаточно было добавить строчку
    Код (CODE):
    1. Disallow: /*com_jreviews*user
     
  9. deniro21
    Offline

    deniro21 Пользователь

    Регистрация:
    23.11.2009
    Сообщения:
    107
    Симпатии:
    4
    Пол:
    Мужской
    Ок, спасибо. Сейчас попробую.
     
  10. woojin
    Offline

    woojin Местный Команда форума => Cпециалист <=

    Регистрация:
    31.05.2009
    Сообщения:
    3 204
    Симпатии:
    334
    Пол:
    Мужской
    не спорь он умный
    а USER это наверно для твоего конкретного ЮЗЕРА
     
  11. deniro21
    Offline

    deniro21 Пользователь

    Регистрация:
    23.11.2009
    Сообщения:
    107
    Симпатии:
    4
    Пол:
    Мужской
    :D Я исправил еще до того, как ты успел написать. Я ступил-с! У нас тут +38, поэтому внимание рассеивается:)
     
  12. woojin
    Offline

    woojin Местный Команда форума => Cпециалист <=

    Регистрация:
    31.05.2009
    Сообщения:
    3 204
    Симпатии:
    334
    Пол:
    Мужской
    у вас это где в САМАРЕ что ли?
    там сейчас тоже 38. народ из Волги не вылезает до самого вечера
     
  13. deniro21
    Offline

    deniro21 Пользователь

    Регистрация:
    23.11.2009
    Сообщения:
    107
    Симпатии:
    4
    Пол:
    Мужской
    Иваново :)
     

Поделиться этой страницей

Загрузка...