Карту сайта "В ручном режиме" это реально?

Здравствуйте. Я поставил себе задачу сделать карту сайта, и скормить ее гуглу, яндексу, и все остальным. Но из-за особенностей каталога на котором пашет мой сайт (JReviews), ни один из компонентов не может составить карту моего сайта, т.к. не проникает на нужную глубину, и выдает только ссылки на категории (т.е. игнорирует ссылки на сами материалы). Специализированный софт и всякие онлайн-генераторы ведут себя идентично. Всего я бы хотел скормить поисковикам около 350-400 страниц. Вопрос: карту сайта реально сделать руками?

 

Перелопатил вдоль и поперек с гугл переводчиком У них там (И у разработчика Александера в частности) решение одно: продублировать меню. Но мне оно не подходит к сожалению.... Xmap я уже пробовал, толку ноль. Впрочем как и у юзеров на форуме поддержки JReviews. Так что ручками, ручками..... Думаю не запарюсь. Раз 400 раз title вписал, значит и ссылку скопипастить смогу столько же А xenu попробую обязательно. Спасибо за совет.

 

Попробовал Xenu - программа отличная. Сделала мне карту сайта такую, какую надо и открыла ее в браузере. Однако нажав "файл" -" создать карту сайта для гугл" (ну чтобы сделать XML файл), она мне сохраняет какую-то ерунду (такую же как и Xmap), а не карту. То есть то, что она открвывает в браузере и то, что экспортирует в XML - почему-то разные вещи. Странно....

 

jCrawler

 

Ок, репотрирую сэр! Итак:
Вот мой сайт: http://ivrate.ru/
Возьмем для примера страничку "Мегафона". Когда Xenu сканирует мой сайт и затем отрывает в браузере карту сайта Html, то ссылка на мегафон вот такая:

http://ivrate.ru/index.php?option=com_content&view=article&catid=23:2010-05-13-10-17-56&id=117:2010-05-07-16-30-58&Itemid=46

А после того, как она создает XML документ для гугл, то этой ссылки в нем нет, а есть вот такая:

http://ivrate.ru/index.php?option=com_content&view=article&catid=23:2010-05-13-10-17-56&id=117:2010-05-07-16-30-58&Itemid=46

Первая ссылка верна, так как если зайти на сайт в категорию "Операторы связи" и нажать "Мегафон", то откроется именно она. А вторая ссылка, тоже ведет на эту страницу, с одним лишь отличием, что эта страница не содержит в себе никаких модулей (что и понятно, т.к. модули привязывались к пунктам меню Jreviews). Вторая ссылка выглядит так, как будто она создавалась стандартным "Шаблон материала" и отличается тем, что в нескольких местах вписано непонятное amp; Да только вот второй-то ссылки на сайте у меня нигде нет и быть не может. Соответственно посылать туда "Великого Гугла" незачем. Видимо программа сама немножко додумывает за джумлу. Хотя все-таки непонятно, почему верную карту она открывает в HTML, а в XML экспортирует совершенно другую..... Вот
Если интересно, то вложил оба варианта.

 

Пробовал. Выдает такие же ссылки, плюс не хочет залезать на вторую страничку (если в блогах категории их несколлько и можно листать)

 

Если он куда то не лезет - либо настройки либо есть битые ссылки - повод проверить.
Код формирует тот, что нужен ботам гугла и яндекса - знак & перекодирует в соответсвии с требованиями HTML

 

Очень странно..... Сейчас попробвал открыть в трех браузерах (мазила, опера и осел), и везде эти ссылки открываются по разному, как я и говорил. По первой на странице материала все модули на месте (верхие, боковые и т.д.) , а по второй ни одного модуля, только инфа.....
GSiteCrawler сейчас попробую.

Вообще, попробовал открыть HTML карту Xenu в Word и побомбить массовыми заменами (блокнот и дримвивер пукнули и глюкнули от такой нагрузки), чтобы привести в соответствие с требованиями гугла (нашел мануал: http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=34657 ) В итоге все получилось как надо, да только вот текст Title, который тоже был в этом документе, непонятно как заменять, т.е. он весь разный. Существует ли какой-нибудь софт, чтобы производить массовые замены по маске?
Например это:

Код (CODE):

1. <url>  <loc>http://ivrate.ru/</loc>  </url>Ивановский рейтинг заведений и фирм.

Менять на это:

Код (CODE):

1. <url>  <loc>http://ivrate.ru/</loc>  </url>

То есть давать софтине задание убирать все, что не заключено в теги <url>... </url>

Посидел, подумал: а можно как нибудь разом просто убрать все русские буквы из текста?

 

Попросил двух знакомых. Результат - на одной странице есть модули, на другой нет. Спорить конечно не буду, но все же. Предлагаю проверить еще кому-нибудь из пользователей форума. Вот две ссылки:

Ссылка 1

Ссылка 2

Лично у меня по первой есть модули, а по второй нет. Прошу читающих тему пройти по ссылкам и отписаться если не сложно.

P.S. Проблему собираюсь решить так: массово стереть amp из XML. Я проверил страницы находящиеся в индексе гугла, и никаких amp в них нет, т.е. он индексирует именно то, что надо.

 

В общем попробовал и понял, что так нельзя. При попытке открыть XML в браузере выдает ошибку, а гугл его тоже не принимает. Видимо все из-за амперсанда этого.

 

Решил ничего не делать и хрен с ним с этой amp. Сгенерировал карту сайта в GSiteCrawler. Залил на хост и в гугл. Гугл ее принял. Эт хорошо Но все-таки мне это покоя недает. Вот если amp такой безобидный, то почему происходит вот так:

Ссылка первая: http://ivrate.ru/index.php?option=com_jreviews&amp;Itemid=52&amp;url=menu/page:3/limit:10/

Показывает 404. Теперь убираем amp; и вуаля:
Ссылка вторая: http://ivrate.ru/index.php?option=com_jreviews&Itemid=52&url=menu/page:3/limit:10/

Чудеса. Но поскольку гугл полезет именно по первой, потому что она указана в XML карте, то соответственно и попадет он на 404.....

 

Попробовал. Ты прав! Кстати, заметил, что когда открываешь в браузере созданную XML карту, то amp тоже отсутствуют. Вот я лошара все таки!

И еще вопросик. Я скормил гуглу ссылку на карту, он ее одобрил (стоит галочка и написано, что замечаний нет). Затем я вернулся в центр веб-мастеров через 10 минут, и увидел, что из карты уже проиндексировано 178 ссылок из 3000 с чем-то (там прямо в панели пишет количество). Я обрадовался, и начал заходить туда каждые 20 минут, дабы понаблюдать за наростанием этой цифры. Но в итоге прошло несколько часов, а ссылок из карты по прежнему проиндексировано 178. Это гугл так медленно работает, или эти ссылки уже были в индексе и он их просто выявил?

 

Не понял. Чего?

 

Новичкам не понять, sourpuss - поздравляю.