Идеальный Robots.txt для Joomla 2.5

Тема в разделе "Общие вопросы SEO", создана пользователем beezmarkee, 26.09.2012.

  1. Offline

    aybylat Недавно здесь

    Регистрация:
    17.11.2011
    Сообщения:
    40
    Симпатии:
    0
    Пол:
    Мужской
    Гугл проиндексировал 14 страниц, где он столько набрал непонятно, в том числе дубли типа site.ru/index.php/component/content/?view=featured‎

    Вообще какие то странные показания в статистике, днем пишется, что проиндексировано 4 страницы, вечером - 14 и так каждый день. Интересно, утрясется это все согласно правилам в роботс или заявку на удаление писать надо?

    Яндекс пока тянет, у него по моему вообще робот не торопится просматривать сайты.
     
  2. OlegM
    Offline

    OlegM Russian Joomla! Team Команда форума

    Регистрация:
    12.04.2007
    Сообщения:
    4 311
    Симпатии:
    375
    Пол:
    Мужской
    Ну может реально есть такие ссылки. Сайт сканировался на ссылки?
     
  3. Offline

    aybylat Недавно здесь

    Регистрация:
    17.11.2011
    Сообщения:
    40
    Симпатии:
    0
    Пол:
    Мужской
    Нет на ссылки не сканировал. Но если такие страницы и есть, то они сгенерированы самой joomla, т.к. на сайте реально щитанное количество созданных страниц.

    Появилась другая проблема, гугл вдруг перестал сканировать сайт и стал выдавать сообщение

    Никаких изменений на сайте не производилось, с чего интересно вдруг? Файл роботс открывается в браузере нормально.

    Инструмент "Посмотреть как Googlebot" не может получить доступ к файлу robots.txt из-за ограничений в самом этом файле, при этом анализатор этот файл разрешает.
    Не нужно ли в файл robots.txt добавлять строку?
    Код (CODE):
    1. Allow: /robots.txt$


    Права на файл robots.txt - 444, влияет ли это на сканирование?
     
    Последнее редактирование: 01.06.2013
  4. OlegM
    Offline

    OlegM Russian Joomla! Team Команда форума

    Регистрация:
    12.04.2007
    Сообщения:
    4 311
    Симпатии:
    375
    Пол:
    Мужской
    Да, но ведь это не значит, что их там нет, потому что их не планировали.

    Может были работы на сервере или глюки, из-за которых робот не мог получить доступ. Может и правда файл кривой, может выдается ошибка 404. Может...

    Нет.
    Нет.
     
  5. Offline

    aybylat Недавно здесь

    Регистрация:
    17.11.2011
    Сообщения:
    40
    Симпатии:
    0
    Пол:
    Мужской
    Проиндексировал Яндекс, также лишние страницы попали в индекс.
    В индексе оказалось 6 страниц, 4 по правилам роботс и две левые ссылки:
    /index.php/component/users/?view=remind
    /index.php/component/users/?view=reset

    Анализатор Яндекс их запрещает, как собственно и должен по заданным правилам. Может стоит принудительно эти страницы запретить в robots.txt?
     
  6. OlegM
    Offline

    OlegM Russian Joomla! Team Команда форума

    Регистрация:
    12.04.2007
    Сообщения:
    4 311
    Симпатии:
    375
    Пол:
    Мужской
    Анализатор может и запрещает, но не индексатору...
    Так если не работает общий запрет, то что еще делать?
     
  7. OlegM
    Offline

    OlegM Russian Joomla! Team Команда форума

    Регистрация:
    12.04.2007
    Сообщения:
    4 311
    Симпатии:
    375
    Пол:
    Мужской
    Думаю стоит спросить у поддержки Яндекс - как быть в таких ситуациях и почему действительность не соответствует показаниям анализатора robots.txt
     
  8. Offline

    aybylat Недавно здесь

    Регистрация:
    17.11.2011
    Сообщения:
    40
    Симпатии:
    0
    Пол:
    Мужской
    Какой смысл тогда в анализаторе Яндекса, если он показывает не правильные результаты? Он ведь по сути должен показывать будут страницы индексироваться или нет. Или он не для этого предназначен?
     
  9. OlegM
    Offline

    OlegM Russian Joomla! Team Команда форума

    Регистрация:
    12.04.2007
    Сообщения:
    4 311
    Симпатии:
    375
    Пол:
    Мужской
    Ответ выше - нет смысла гадать, когда можно узнать у самого Яндекса :)
     
  10. Offline

    aybylat Недавно здесь

    Регистрация:
    17.11.2011
    Сообщения:
    40
    Симпатии:
    0
    Пол:
    Мужской
    В общем отправил страницы на удаление, посмотрим, что получится. Сейчас еще в поддержку напишу, вдруг ответят.
    Пропустил одно сообщение здесь )
     
    Последнее редактирование: 04.06.2013

Поделиться этой страницей

Загрузка...