Грамотный robots.txt

Тема в разделе "Общие вопросы SEO", создана пользователем Michael, 30.01.2008.

  1. Offline

    Michael Недавно здесь

    Регистрация:
    22.09.2005
    Сообщения:
    69
    Симпатии:
    0
    Пол:
    Мужской
    Заглянул в Яндекс для вебмастеров - тысячи загруженных страниц и среди них куча хлама: почтовые формы и т.п.
    Вот и думаю: как правитьно организовать robots.txt под Яшу - там вроде бы спецсимволы поддерживаются. Вот думаю, может вообще запретить /index2.php?* ? Или не стоит?
    А вообще хотелось бы посмотреть на готовые решения, чтобы не изобретать велосипел и не нагородть лишнего.
    Если не жалко конечно :)
     
  2.  
  3. Offline

    cjplfybt cfqnjd Недавно здесь

    Регистрация:
    10.02.2008
    Сообщения:
    1
    Симпатии:
    0
    Ответ: Грамотный robots.txt

    От robots.txt можнно сказать никакого толка нет, если только ваш сайт использует несколько доменов, в нём можно указать основной, чтобы все не попали в чс яши.
     
  4. sectus
    Offline

    sectus Недавно здесь => Cпециалист <=

    Регистрация:
    19.04.2006
    Сообщения:
    1 210
    Симпатии:
    46
    Пол:
    Мужской
    Ответ: Грамотный robots.txt

    cjplfybt cfqnjd, спамер, в топку его... где кнопка пожаловаться?
     
  5. Offline

    Archi Недавно здесь

    Регистрация:
    26.02.2008
    Сообщения:
    5
    Симпатии:
    0
    Ответ: Грамотный robots.txt

    Скажите пожалуйста как правильно указать в robot.txt адрес к sitemap.xml и обязательно это указывать или нет
     
  6. Fanamura
    Offline

    Fanamura Доброта

    Регистрация:
    12.03.2007
    Сообщения:
    5 094
    Симпатии:
    158
    Пол:
    Мужской
    Ответ: Грамотный robots.txt

    Карту нужно добавлять непосредственно в кабинете вебмастера Гугля
     
  7. Offline

    Максимcase Недавно здесь

    Регистрация:
    23.05.2009
    Сообщения:
    8
    Симпатии:
    0
    Пол:
    Мужской
    Меня интересует вопрос можно ли Robots.txt прописать Disallow: /view-document-details*, sh404SEF создает ЧПУ ссылки вида http://www.k-volt.ru/view-document-details........., я не хочу, чтобы роботы индексировали эти страницы
     
  8. Fanamura
    Offline

    Fanamura Доброта

    Регистрация:
    12.03.2007
    Сообщения:
    5 094
    Симпатии:
    158
    Пол:
    Мужской
    Максимcase, можно
     
  9. stranik
    Offline

    stranik Недавно здесь => Cпециалист <=

    Регистрация:
    03.12.2008
    Сообщения:
    548
    Симпатии:
    36
    Пол:
    Мужской
    Re: Ответ: Грамотный robots.txt

    В Robots.txt указывается так, если нет другого выхода
    Sitemap: http://www.site.ru/sitemap.xml
    но лучше делать через панель веб-мастера в Google
     
  10. Offline

    7G6QP2Zc Недавно здесь

    Регистрация:
    25.10.2010
    Сообщения:
    10
    Симпатии:
    0
    Пол:
    Мужской
    драсти форумчане.
    Ситуация: 1 игровой комп, 2 сервер на котором стоит Joomla. Оба компа за роутером Dir 100 (внешний ип белый). Суть вопроса - возможно ли запретить доступ к админке через robot.txt из ИНЕТА, но не запрещен со второго компа (т е локалки ) ? или это настраивается каким то другим путем ?
    как вариант роутер, или в самом файле хостов сервера, или в самой джумле есть опции ? можно этот вопрос как то освятить ?
    Чтобы мог заходить через http://192.168.0.100/administrator/
    но не мог ни я ни кто либо другой зайти через http://mysite.com/administrator/
    Ибо сильно страдаю параноей (((
    За ранее спсб.
     
  11. Akiro
    Offline

    Akiro Недавно здесь

    Регистрация:
    23.08.2011
    Сообщения:
    44
    Симпатии:
    0
    Пол:
    Мужской
    Ну так вот ответ на самый первый вопрос где? Отошли от темы, господа, отошли. Так и не дав ответа, а жаль
     
  12. Offline

    Alius Недавно здесь

    Регистрация:
    25.01.2010
    Сообщения:
    21
    Симпатии:
    0
    Пол:
    Мужской
    Re: Ответ: Грамотный robots.txt

    Внатуре человек с головой не дружит. Так же и я могу сказать - нахрена тебе голова, от неё, можно сказать никакого толка нет,

    а теперь по делу, обращаюсь к создателю темы - можешь посмотреть роботс на моём сайте вот ссылка http://orenmat.ru/robots.txt НО! Большое НО! Мой сайт, находится на хостинге, который увы не поддерживает ЧПУ. Переносить его куда то я не хочу, да и ссылки для сайта закуплены с вот такими нечитабельными адресами. Редиректы тоже не хочется прописывать, так что оставил как есть, а проблему с дублями решил следующим образом. Для каждой страницы в джумла есть свой вариант с датой вместо вместо псевдонима на английском в адресной строке. Я знаю, что материалы были созданы мной в 2011 и 2012 голу не раньше, поэтому я запретил в робо любую последовательность связанную с этими датами. Насколько это правильно - хз, пока провожу опыты с этим делом, но частично избавится от дублей должно помочь.

    А если у тебя с ЧПУ всё впорядке и хостинг поддерживает sef, то вот роботс который я считаю близким к совершенству для джумла

    Код (PHP):
    1. User-agent: *
    2. Allow: /index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
    3. Disallow: /administrator/
    4. Disallow: /cache/
    5. Disallow: /components/
    6. Disallow: /includes/
    7. Disallow: /installation/
    8. Disallow: /language/
    9. Disallow: /libraries/
    10. Disallow: /media/
    11. Disallow: /modules/
    12. Disallow: /plugins/
    13. Disallow: /templates/
    14. Disallow: /tmp/
    15. Disallow: /xmlrpc/
    16. Disallow: /*.pdf
    17. Disallow: /*.swf
    18. Disallow: /*print=1
    19. Disallow: /*mailto/
    20. Disallow: /index.php?
    21. Disallow: /index.php
    22. Disallow: /index2.php
    23. Disallow: /index.html
    24. Disallow: /home
    25. Disallow: /*task=vote*
    26. Disallow: /*=watermark*
    27. Disallow: /*=download*
    28. Disallow: /*user/*
    29. Disallow: /.html
    30. Disallow: /404
    31. Disallow: /*keyword=          
    32. Disallow: /*pop=0              
    33. Disallow: /*product-search    
    34. Disallow: /*flypage=            
    35. Disallow: /*cart                  
    36. Disallow: /*feed
    37. Disallow: /*%
    38. Sitemap: http://erotech.org/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
    39.  
    40. User-agent: Yandex
    41. Allow: /index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
    42. Disallow: /administrator/
    43. Disallow: /cache/
    44. Disallow: /components/
    45. Disallow: /includes/
    46. Disallow: /installation/
    47. Disallow: /language/
    48. Disallow: /libraries/
    49. Disallow: /media/
    50. Disallow: /modules/
    51. Disallow: /plugins/
    52. Disallow: /templates/
    53. Disallow: /tmp/
    54. Disallow: /xmlrpc/
    55. Disallow: /*.pdf
    56. Disallow: /*.swf
    57. Disallow: /*print=1
    58. Disallow: /*mailto/
    59. Disallow: /index.php?
    60. Disallow: /index.php
    61. Disallow: /index2.php
    62. Disallow: /index.html
    63. Disallow: /home
    64. Disallow: /*task=vote*
    65. Disallow: /*=watermark*
    66. Disallow: /*=download*
    67. Disallow: /*user/*
    68. Disallow: /.html
    69. Disallow: /404
    70. Disallow: /*keyword=          
    71. Disallow: /*pop=0              
    72. Disallow: /*product-search    
    73. Disallow: /*flypage=            
    74. Disallow: /*cart                  
    75. Disallow: /*feed
    76. Disallow: /*%
    77. Host: http://erotech.org
    78. Sitemap: http://erotech.org/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1


    Это для другого моего сайта с поддержкой ЧПУ

    жду ваших комментариев
     
  13. Akiro
    Offline

    Akiro Недавно здесь

    Регистрация:
    23.08.2011
    Сообщения:
    44
    Симпатии:
    0
    Пол:
    Мужской
    Спасибо Алиасу. :)
     
  14. Offline

    Alius Недавно здесь

    Регистрация:
    25.01.2010
    Сообщения:
    21
    Симпатии:
    0
    Пол:
    Мужской
    Тестируйте, а потом отпишите результат,я вот сейчас тоже жду очередное обновление в панели вебмастеров, по нему уже буду делать выводы и поправки если необходимо,
     

Поделиться этой страницей

Загрузка...