Joomla 1.5 Второстепенные страницы и ссылки на них не видят поисковики

Тема в разделе "SEO - оптимизация, продвижение", создана пользователем Doma, 11.01.2010.

  1. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    Сайт в сети уже полгода, около 250 статей, контент на 70% уникальный (30% - нормативка и законы).

    Поисковики отлично видят главную страницу, находят картинки с сайта.
    Как только контент уходит с главной страницы, из поиска он пропадает.

    Карта есть - гугл постоянно ее мониторит.
    Робот такой
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Host: trudovepravo.com.ua

    User-agent: Mediapartners-Google
    Disallow:

    Все, что ниже главной страницы, как просто ссылка (например, http://мой_сайт.com/contacts), так и материал, поисковики не находят.

    В чем может быть проблема?
     
  2.  
  3. Offline

    ---_SkippeR_--- Недавно здесь

    Регистрация:
    13.11.2009
    Сообщения:
    181
    Симпатии:
    8
    Пол:
    Мужской
    Вы понимаете что написали в роботс.тхт ???? Жуть...щас поясню


    =====================

    Тут все норма

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    =============================

    +++++++++++++++++++++++++++++++++++
    А это нафиг? Дубль верхнего? это удаляем нафиг

    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Host: trudovepravo.com.ua
    +++++++++++++++++++++++++++++++

    _________________________________________

    Это самое веселое в кавычках...

    User-agent: Mediapartners-Google
    Disallow: - т.е. гугл может усе индексировать? и даже админку и усе усе?


    Кстати...сайт симпотичный...приятно было на нем побывать..)

    У вас больше 1 странице в индексе: http://yandex.ru/yandsearch?text=&site=trudovepravo.com.ua&ras=1&site_manually=true&lr=213

    И судя по увиденому проблема в названии страниц...везде одно название..это первая проблема.

    В Яндексе: 28 страниц
    В Гугле: 70 страниц.

    http://www.google.com/search?hl=ru&q=site:trudovepravo.com.ua&newwindow=1&filter=0

    это для начала то что заметил.
     
  4. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    :[ в том-то и дело, что не понимаю... эм... начиталась всякой-всячины в интернете...

    Робот был раньше, как Вы и подсказали, но суть от этого не менялась. Сейчас исправила обратно.

    А то, что видят поисковики - это все главная страница, только пролистывание, например, trudovepravo.com.ua/index.php?start=10

    Т.е. на главную у меня сыпятся почти все обновления с одновременным распределением по разделам
    trudovepravo.com.ua/statti/229-medical-sick-leave

    При вводе этого самого линка в поиск - получаем ноль, хотя такая статья существует и ее можно найти тут trudovepravo.com.ua/index.php?start=10

    На главной видно только анонс, а дальше в раздел. Вот эти самые разделы и не видят поисковики, где уже разное описание, кейвордсы и т.д.

    Мало того, что поисковики "не различают" этого самого контента, так еще и adsence индексирует только линк, но не содержание страницы, т.е. рекламка у меня про "leave", "sick" и "medical", а не про "больничные".

    Спасибо за оценку моим стараниям - он у меня первенький :)
     
  5. Offline

    ---_SkippeR_--- Недавно здесь

    Регистрация:
    13.11.2009
    Сообщения:
    181
    Симпатии:
    8
    Пол:
    Мужской
    Вот вам мой роботс... от сайта который через неделю проиндексировался... как..хз видать повезло...

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
     
  6. Offline

    _voland_ Местный => Cпециалист <=

    Регистрация:
    12.04.2008
    Сообщения:
    2 171
    Симпатии:
    102
    Пол:
    Мужской
    Роботс совршенно правильный, разве что последние 3 строчки лишние - можно удалить.
    ---_SkippeR_--- - в твоем роботсе запрещена индексация картинок и не указано основное зеркало для Яндекса - а это минус, не стоит давать рекомендации не зная сути предмета, так что на минус не обессудьте.
    Насчет индексации - зарегьте сайт в вебмастере гугла и посмотрите есть страница в индексе или нет, скормите XML карту с данными страницами и через денек посмотрите ошибки - если какой то урл не будет проиндексирован по ошибке - гугл напишет в чем эта ошибка.
     
  7. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    о! точно такой же был у меня сначала, потом исключила оттуда картинки и компоненты, а дальше уже наворотила всего остального. Тогда индексирование было с тем же игнорированием ссылок на разделы.

    У меня есть другой сайт, где такой же робот - его индексируют отлично до последней буквы в тексте, Правда, там нет этой самой ленты новостей с анонсами. Думаю, что именно в них проблема. Но где?
     
  8. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    Единственную ошибку, которую он мне выдает по линкам (В файле Sitemap - 58, Не найдено - 74) - это "404 (Не найдено)". Жалко - столько контента пропадает...
     
  9. Offline

    _voland_ Местный => Cпециалист <=

    Регистрация:
    12.04.2008
    Сообщения:
    2 171
    Симпатии:
    102
    Пол:
    Мужской
    Смотрю сайтмап - там всего 10 страниц. Воспользуйтесь для генерации не сайтом xml-sitemaps а компонентом jCrawler (правда хостинг должен быть вменяемым)
     
  10. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    А где Вы видите такой сайтмап?
    Скормленный гуглу - такой http://trudovepravo.com.ua/index.php?option=com_xmap&sitemap=1&view=xml
    И гугл пишет: "Всего: 215; проиндексировано: 1" Это неправильная карта - да? :(
     
  11. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    Выдал мне этот компонент 62 линка с ошибкой 403, а там все те же названия разделов и статьи в разделах...
     
  12. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    JCrawler выдется ошибка 404 и 403:
    1) четко с названием раздела (например, http://trudovepravo.com.ua/statti)
    2) линки, которые отражались у меня дважды в разных меню - основном и дополнительном (сейчас в основном закрыла эти повторяемые разделы, раньше это делала на работу поисков это никак не повлияло)
    3) о, чудо! ссылки на контент, который у меня в данный момент в числе последних опубликованных.
    4) тут уж ничего не понимаю... линки типа http://trudovepravo.com.ua/index.php?


    Логику "слепоты" веб мастер гугла можно отразить где-то так:
    1) линки с названиями разделов, но не всех ?:\
    2) линки, которые отражались у меня дважды в разных меню - основном и дополнительном (сейчас в основном закрыла эти повторяемые разделы)
    3) тут логики совсем никакой не вижу, ибо сюда попали и линки новых материалов, и совсем древние, но опять же не все... ?:\
     
    Последнее редактирование: 12.01.2010
  13. Offline

    _voland_ Местный => Cпециалист <=

    Регистрация:
    12.04.2008
    Сообщения:
    2 171
    Симпатии:
    102
    Пол:
    Мужской
    Значит действительно 404ая ошибка изза которые страницы и не индексируются - осталось найти ошибку, смотрите заголовки сервера, что отдается юзеру а что боту, возможно хостинг глючит, 404ая постоянно или в определенные моменты?
     
  14. Offline

    _voland_ Местный => Cпециалист <=

    Регистрация:
    12.04.2008
    Сообщения:
    2 171
    Симпатии:
    102
    Пол:
    Мужской
    ЗЫ Только что открыл http://trudovepravo.com.ua/statti - страница отдается но с заголовком 404 - смотрите что не так. Какие то компоненты левые? Может раздел не опубликован?
     
  15. Offline

    ---_SkippeR_--- Недавно здесь

    Регистрация:
    13.11.2009
    Сообщения:
    181
    Симпатии:
    8
    Пол:
    Мужской
    Спасибо :) _voland_, но это не дезинформация, именно с такими файлами роботс.тхт мои сайты и пробиваются в топ 10 с полной индексацией.

    По поводу генерации карты сайта советую xmap 1.2.2 простой в обращении, хостинг ему без разницы какой... и все что нужно генерирует.
     
  16. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    Вчера сама впервые увидела глюк сервера, мол, зайдите позже, хотя частенько сижу именно в это время суток в админке - это нужно провайдеру мозг ковырять?

    Сайт так индексировался странно еще, когда голый шаблон был. Компоненты то ставила, то убирала - ничего не менялось. Разделы все опубликованные. Анализируем заголовки... :'(
     
  17. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    Спасибо - с роботом продолжаю экспериментировать. А xmap у меня 1.0.2, из которой гугл только 1 страницу индексировал. Могла версия карты влиять?
     
  18. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    Интересное поведение Google Adwords:
    • на главной странице и все, что пролистывается с припиской .../index.php?start= - реклама отражается на русском и украинском языке согласно контексту или моим недавним запросам
    • а вот на любой из второстепенных страниц, буто то .../statti или глубже .../statti/229-medical-sick-leave - реклама отражается по содержимому ЧПУ, т.е. линк гугл прочитать может, а содержание страницы - нет.

    Это ведь значит, что бот не может попасть внутрь сайта? Где и чем это может скрываться?
     
  19. Offline

    _voland_ Местный => Cпециалист <=

    Регистрация:
    12.04.2008
    Сообщения:
    2 171
    Симпатии:
    102
    Пол:
    Мужской
    Вот причина!!!!
     
    Doma нравится это.
  20. Offline

    Doma Недавно здесь

    Регистрация:
    11.01.2010
    Сообщения:
    20
    Симпатии:
    0
    Пол:
    Женский
    Вчера сама впервые увидела глюк сервера, мол, зайдите позже, хотя частенько сижу именно в это время суток в админке - это нужно провайдеру мозг ковырять?

    Сайт так странно индексировался еще, когда голый шаблон был. Компоненты то ставила, то убирала - ничего не менялось. Разделы все опубликованные.

    На 404 ошибку сейчас поставила карту сайта, добавила суфиксы. Где искать? Куда копать?
     
  21. Offline

    _voland_ Местный => Cпециалист <=

    Регистрация:
    12.04.2008
    Сообщения:
    2 171
    Симпатии:
    102
    Пол:
    Мужской
    Вы понимаете отличие заголовка страницы (HTTP Header) от ее содержания?
    На странице можно написать ошибка 404 но отдавать код 200-ок
    А у Вас наоборот - страница грузится но отдает заголовок 404-not found.

    Смотреть заголовки можно например через FireBug.
    Искать причину в установленных компонентах или самом движке (я писал о том что могут быть какие то разделы не опубликованы или проблема с временем публикации). Теперь доступно разжевал?
     

Поделиться этой страницей

Загрузка...