Joomla 1.5 Второстепенные страницы и ссылки на них не видят поисковики

Сайт в сети уже полгода, около 250 статей, контент на 70% уникальный (30% - нормативка и законы).

Поисковики отлично видят главную страницу, находят картинки с сайта.
Как только контент уходит с главной страницы, из поиска он пропадает.

Карта есть - гугл постоянно ее мониторит.
Робот такой
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: trudovepravo.com.ua

User-agent: Mediapartners-Google
Disallow:

Все, что ниже главной страницы, как просто ссылка (например, http://мой_сайт.com/contacts), так и материал, поисковики не находят.

В чем может быть проблема?

 

Вы понимаете что написали в роботс.тхт ???? Жуть...щас поясню


=====================

Тут все норма

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
=============================

+++++++++++++++++++++++++++++++++++
А это нафиг? Дубль верхнего? это удаляем нафиг

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: trudovepravo.com.ua
+++++++++++++++++++++++++++++++

_________________________________________

Это самое веселое в кавычках...

User-agent: Mediapartners-Google
Disallow: - т.е. гугл может усе индексировать? и даже админку и усе усе?


Кстати...сайт симпотичный...приятно было на нем побывать..)

У вас больше 1 странице в индексе: http://yandex.ru/yandsearch?text=&site=trudovepravo.com.ua&ras=1&site_manually=true&lr=213

И судя по увиденому проблема в названии страниц...везде одно название..это первая проблема.

В Яндексе: 28 страниц
В Гугле: 70 страниц.

http://www.google.com/search?hl=ru&q=site:trudovepravo.com.ua&newwindow=1&filter=0

это для начала то что заметил.

 

в том-то и дело, что не понимаю... эм... начиталась всякой-всячины в интернете...

Робот был раньше, как Вы и подсказали, но суть от этого не менялась. Сейчас исправила обратно.

А то, что видят поисковики - это все главная страница, только пролистывание, например, trudovepravo.com.ua/index.php?start=10

Т.е. на главную у меня сыпятся почти все обновления с одновременным распределением по разделам
trudovepravo.com.ua/statti/229-medical-sick-leave

При вводе этого самого линка в поиск - получаем ноль, хотя такая статья существует и ее можно найти тут trudovepravo.com.ua/index.php?start=10

На главной видно только анонс, а дальше в раздел. Вот эти самые разделы и не видят поисковики, где уже разное описание, кейвордсы и т.д.

Мало того, что поисковики "не различают" этого самого контента, так еще и adsence индексирует только линк, но не содержание страницы, т.е. рекламка у меня про "leave", "sick" и "medical", а не про "больничные".

Спасибо за оценку моим стараниям - он у меня первенький

 

Вот вам мой роботс... от сайта который через неделю проиндексировался... как..хз видать повезло...

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

 

Роботс совршенно правильный, разве что последние 3 строчки лишние - можно удалить.
---_SkippeR_--- - в твоем роботсе запрещена индексация картинок и не указано основное зеркало для Яндекса - а это минус, не стоит давать рекомендации не зная сути предмета, так что на минус не обессудьте.
Насчет индексации - зарегьте сайт в вебмастере гугла и посмотрите есть страница в индексе или нет, скормите XML карту с данными страницами и через денек посмотрите ошибки - если какой то урл не будет проиндексирован по ошибке - гугл напишет в чем эта ошибка.

 

о! точно такой же был у меня сначала, потом исключила оттуда картинки и компоненты, а дальше уже наворотила всего остального. Тогда индексирование было с тем же игнорированием ссылок на разделы.

У меня есть другой сайт, где такой же робот - его индексируют отлично до последней буквы в тексте, Правда, там нет этой самой ленты новостей с анонсами. Думаю, что именно в них проблема. Но где?

 

Единственную ошибку, которую он мне выдает по линкам (В файле Sitemap - 58, Не найдено - 74) - это "404 (Не найдено)". Жалко - столько контента пропадает...

 

Смотрю сайтмап - там всего 10 страниц. Воспользуйтесь для генерации не сайтом xml-sitemaps а компонентом jCrawler (правда хостинг должен быть вменяемым)

 

А где Вы видите такой сайтмап?
Скормленный гуглу - такой http://trudovepravo.com.ua/index.php?option=com_xmap&sitemap=1&view=xml
И гугл пишет: "Всего: 215; проиндексировано: 1" Это неправильная карта - да?

 

Выдал мне этот компонент 62 линка с ошибкой 403, а там все те же названия разделов и статьи в разделах...

 

JCrawler выдется ошибка 404 и 403:
1) четко с названием раздела (например, http://trudovepravo.com.ua/statti)
2) линки, которые отражались у меня дважды в разных меню - основном и дополнительном (сейчас в основном закрыла эти повторяемые разделы, раньше это делала на работу поисков это никак не повлияло)
3) о, чудо! ссылки на контент, который у меня в данный момент в числе последних опубликованных.
4) тут уж ничего не понимаю... линки типа http://trudovepravo.com.ua/index.php?


Логику "слепоты" веб мастер гугла можно отразить где-то так:
1) линки с названиями разделов, но не всех
2) линки, которые отражались у меня дважды в разных меню - основном и дополнительном (сейчас в основном закрыла эти повторяемые разделы)
3) тут логики совсем никакой не вижу, ибо сюда попали и линки новых материалов, и совсем древние, но опять же не все...

 

Значит действительно 404ая ошибка изза которые страницы и не индексируются - осталось найти ошибку, смотрите заголовки сервера, что отдается юзеру а что боту, возможно хостинг глючит, 404ая постоянно или в определенные моменты?

 

ЗЫ Только что открыл http://trudovepravo.com.ua/statti - страница отдается но с заголовком 404 - смотрите что не так. Какие то компоненты левые? Может раздел не опубликован?

 

Спасибо _voland_, но это не дезинформация, именно с такими файлами роботс.тхт мои сайты и пробиваются в топ 10 с полной индексацией.

По поводу генерации карты сайта советую xmap 1.2.2 простой в обращении, хостинг ему без разницы какой... и все что нужно генерирует.

 

Вчера сама впервые увидела глюк сервера, мол, зайдите позже, хотя частенько сижу именно в это время суток в админке - это нужно провайдеру мозг ковырять?

Сайт так индексировался странно еще, когда голый шаблон был. Компоненты то ставила, то убирала - ничего не менялось. Разделы все опубликованные. Анализируем заголовки...

 

Спасибо - с роботом продолжаю экспериментировать. А xmap у меня 1.0.2, из которой гугл только 1 страницу индексировал. Могла версия карты влиять?

 

Интересное поведение Google Adwords:

• на главной странице и все, что пролистывается с припиской .../index.php?start= - реклама отражается на русском и украинском языке согласно контексту или моим недавним запросам
• а вот на любой из второстепенных страниц, буто то .../statti или глубже .../statti/229-medical-sick-leave - реклама отражается по содержимому ЧПУ, т.е. линк гугл прочитать может, а содержание страницы - нет.

Это ведь значит, что бот не может попасть внутрь сайта? Где и чем это может скрываться?

 

Вот причина!!!!

 

Вчера сама впервые увидела глюк сервера, мол, зайдите позже, хотя частенько сижу именно в это время суток в админке - это нужно провайдеру мозг ковырять?

Сайт так странно индексировался еще, когда голый шаблон был. Компоненты то ставила, то убирала - ничего не менялось. Разделы все опубликованные.

На 404 ошибку сейчас поставила карту сайта, добавила суфиксы. Где искать? Куда копать?

 

Вы понимаете отличие заголовка страницы (HTTP Header) от ее содержания?
На странице можно написать ошибка 404 но отдавать код 200-ок
А у Вас наоборот - страница грузится но отдает заголовок 404-not found.

Смотреть заголовки можно например через FireBug.
Искать причину в установленных компонентах или самом движке (я писал о том что могут быть какие то разделы не опубликованы или проблема с временем публикации). Теперь доступно разжевал?