У меня вот сейчас возник такой вопрос: когда робот яши или гугла заходит на сайт, и индексирует новые статьи, он смотрит на дату их создания?
никак нет. роботы их видят или просто не видят. но им все равно когда они созданы. учтите что при проверке не индексируется только новые материалы но и старые.
роботы при посешение сайта просто индексирует все что там есть (кроме тех материалов которые мы запретили) и при этом добавляется в индексацию и новые материалы. то есть робот при посешение не ищет именно новые материалы они просто видят то что есть не по дате создания. еще бывает роботы просто не видять какие то материалы то есть как и сами поисковики пишет что мы не гарантируем что роботы будут посешать ваш сайт и все инексировать. вот и по этому надо создать карта сайта на XML и добавить в разделе для вебмастеров.
Разве в rss ленте дата не считывается поисковиком? на страницах нет а вот в ленте считывает, насколько я обладаю информацией.
