Идеальный Robots.txt для Joomla 2.5

Discussion in 'Общие вопросы SEO' started by beezmarkee, Sep 26, 2012.

Page 2 of 2
  1. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    Гугл проиндексировал 14 страниц, где он столько набрал непонятно, в том числе дубли типа site.ru/index.php/component/content/?view=featured‎

    Вообще какие то странные показания в статистике, днем пишется, что проиндексировано 4 страницы, вечером - 14 и так каждый день. Интересно, утрясется это все согласно правилам в роботс или заявку на удаление писать надо?

    Яндекс пока тянет, у него по моему вообще робот не торопится просматривать сайты.
     
    aybylat, May 31, 2013
    #21
  2. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Ну может реально есть такие ссылки. Сайт сканировался на ссылки?
     
    OlegM, May 31, 2013
    #22
  3. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    Нет на ссылки не сканировал. Но если такие страницы и есть, то они сгенерированы самой joomla, т.к. на сайте реально щитанное количество созданных страниц.

    Появилась другая проблема, гугл вдруг перестал сканировать сайт и стал выдавать сообщение

    Никаких изменений на сайте не производилось, с чего интересно вдруг? Файл роботс открывается в браузере нормально.

    Инструмент "Посмотреть как Googlebot" не может получить доступ к файлу robots.txt из-за ограничений в самом этом файле, при этом анализатор этот файл разрешает.
    Не нужно ли в файл robots.txt добавлять строку?
    Код (CODE):
    1. Allow: /robots.txt$


    Права на файл robots.txt - 444, влияет ли это на сканирование?
     
    Last edited: Jun 1, 2013
    aybylat, Jun 1, 2013
    #23
  4. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Да, но ведь это не значит, что их там нет, потому что их не планировали.

    Может были работы на сервере или глюки, из-за которых робот не мог получить доступ. Может и правда файл кривой, может выдается ошибка 404. Может...

    Нет.
    Нет.
     
    OlegM, Jun 1, 2013
    #24
  5. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    Проиндексировал Яндекс, также лишние страницы попали в индекс.
    В индексе оказалось 6 страниц, 4 по правилам роботс и две левые ссылки:
    /index.php/component/users/?view=remind
    /index.php/component/users/?view=reset

    Анализатор Яндекс их запрещает, как собственно и должен по заданным правилам. Может стоит принудительно эти страницы запретить в robots.txt?
     
    aybylat, Jun 4, 2013
    #25
  6. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Анализатор может и запрещает, но не индексатору...
    Так если не работает общий запрет, то что еще делать?
     
    OlegM, Jun 4, 2013
    #26
  7. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Думаю стоит спросить у поддержки Яндекс - как быть в таких ситуациях и почему действительность не соответствует показаниям анализатора robots.txt
     
    OlegM, Jun 4, 2013
    #27
  8. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    Какой смысл тогда в анализаторе Яндекса, если он показывает не правильные результаты? Он ведь по сути должен показывать будут страницы индексироваться или нет. Или он не для этого предназначен?
     
    aybylat, Jun 4, 2013
    #28
  9. OlegM
    Offline

    OlegM Russian Joomla! Team Staff Member

    Joined:
    Apr 12, 2007
    Messages:
    4,310
    Likes Received:
    375
    Gender:
    Male
    Ответ выше - нет смысла гадать, когда можно узнать у самого Яндекса :)
     
    OlegM, Jun 4, 2013
    #29
  10. Offline

    aybylat Недавно здесь

    Joined:
    Nov 17, 2011
    Messages:
    40
    Likes Received:
    0
    Gender:
    Male
    В общем отправил страницы на удаление, посмотрим, что получится. Сейчас еще в поддержку напишу, вдруг ответят.
    Пропустил одно сообщение здесь )
     
    Last edited: Jun 4, 2013
    aybylat, Jun 4, 2013
    #30
Page 2 of 2
< где может быть заблокирован вывод sitemap | Изменение имени сайта >

Share This Page

Loading...