Грамотный robots.txt

Заглянул в Яндекс для вебмастеров - тысячи загруженных страниц и среди них куча хлама: почтовые формы и т.п.
Вот и думаю: как правитьно организовать robots.txt под Яшу - там вроде бы спецсимволы поддерживаются. Вот думаю, может вообще запретить /index2.php?* ? Или не стоит?
А вообще хотелось бы посмотреть на готовые решения, чтобы не изобретать велосипел и не нагородть лишнего.
Если не жалко конечно

 

Ответ: Грамотный robots.txt

От robots.txt можнно сказать никакого толка нет, если только ваш сайт использует несколько доменов, в нём можно указать основной, чтобы все не попали в чс яши.

 

Ответ: Грамотный robots.txt

cjplfybt cfqnjd, спамер, в топку его... где кнопка пожаловаться?

 

Ответ: Грамотный robots.txt

Скажите пожалуйста как правильно указать в robot.txt адрес к sitemap.xml и обязательно это указывать или нет

 

Ответ: Грамотный robots.txt

Карту нужно добавлять непосредственно в кабинете вебмастера Гугля

 

Меня интересует вопрос можно ли Robots.txt прописать Disallow: /view-document-details*, sh404SEF создает ЧПУ ссылки вида http://www.k-volt.ru/view-document-details........., я не хочу, чтобы роботы индексировали эти страницы

 

Максимcase, можно

 

Re: Ответ: Грамотный robots.txt

В Robots.txt указывается так, если нет другого выхода
Sitemap: http://www.site.ru/sitemap.xml
но лучше делать через панель веб-мастера в Google

 

драсти форумчане.
Ситуация: 1 игровой комп, 2 сервер на котором стоит Joomla. Оба компа за роутером Dir 100 (внешний ип белый). Суть вопроса - возможно ли запретить доступ к админке через robot.txt из ИНЕТА, но не запрещен со второго компа (т е локалки ) ? или это настраивается каким то другим путем ?
как вариант роутер, или в самом файле хостов сервера, или в самой джумле есть опции ? можно этот вопрос как то освятить ?
Чтобы мог заходить через http://192.168.0.100/administrator/
но не мог ни я ни кто либо другой зайти через http://mysite.com/administrator/
Ибо сильно страдаю параноей (((
За ранее спсб.

 

Ну так вот ответ на самый первый вопрос где? Отошли от темы, господа, отошли. Так и не дав ответа, а жаль

 

Re: Ответ: Грамотный robots.txt

Внатуре человек с головой не дружит. Так же и я могу сказать - нахрена тебе голова, от неё, можно сказать никакого толка нет,

а теперь по делу, обращаюсь к создателю темы - можешь посмотреть роботс на моём сайте вот ссылка http://orenmat.ru/robots.txt НО! Большое НО! Мой сайт, находится на хостинге, который увы не поддерживает ЧПУ. Переносить его куда то я не хочу, да и ссылки для сайта закуплены с вот такими нечитабельными адресами. Редиректы тоже не хочется прописывать, так что оставил как есть, а проблему с дублями решил следующим образом. Для каждой страницы в джумла есть свой вариант с датой вместо вместо псевдонима на английском в адресной строке. Я знаю, что материалы были созданы мной в 2011 и 2012 голу не раньше, поэтому я запретил в робо любую последовательность связанную с этими датами. Насколько это правильно - хз, пока провожу опыты с этим делом, но частично избавится от дублей должно помочь.

А если у тебя с ЧПУ всё впорядке и хостинг поддерживает sef, то вот роботс который я считаю близким к совершенству для джумла

Код (PHP):

1. User-agent: *
2. Allow: /index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
3. Disallow: /administrator/
4. Disallow: /cache/
5. Disallow: /components/
6. Disallow: /includes/
7. Disallow: /installation/
8. Disallow: /language/
9. Disallow: /libraries/
10. Disallow: /media/
11. Disallow: /modules/
12. Disallow: /plugins/
13. Disallow: /templates/
14. Disallow: /tmp/
15. Disallow: /xmlrpc/
16. Disallow: /*.pdf
17. Disallow: /*.swf
18. Disallow: /*print=1
19. Disallow: /*mailto/
20. Disallow: /index.php?
21. Disallow: /index.php
22. Disallow: /index2.php
23. Disallow: /index.html
24. Disallow: /home
25. Disallow: /*task=vote*
26. Disallow: /*=watermark*
27. Disallow: /*=download*
28. Disallow: /*user/*
29. Disallow: /.html
30. Disallow: /404
31. Disallow: /*keyword=          
32. Disallow: /*pop=0              
33. Disallow: /*product-search    
34. Disallow: /*flypage=            
35. Disallow: /*cart                  
36. Disallow: /*feed
37. Disallow: /*%
38. Sitemap: http://erotech.org/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
39.  
40. User-agent: Yandex
41. Allow: /index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
42. Disallow: /administrator/
43. Disallow: /cache/
44. Disallow: /components/
45. Disallow: /includes/
46. Disallow: /installation/
47. Disallow: /language/
48. Disallow: /libraries/
49. Disallow: /media/
50. Disallow: /modules/
51. Disallow: /plugins/
52. Disallow: /templates/
53. Disallow: /tmp/
54. Disallow: /xmlrpc/
55. Disallow: /*.pdf
56. Disallow: /*.swf
57. Disallow: /*print=1
58. Disallow: /*mailto/
59. Disallow: /index.php?
60. Disallow: /index.php
61. Disallow: /index2.php
62. Disallow: /index.html
63. Disallow: /home
64. Disallow: /*task=vote*
65. Disallow: /*=watermark*
66. Disallow: /*=download*
67. Disallow: /*user/*
68. Disallow: /.html
69. Disallow: /404
70. Disallow: /*keyword=          
71. Disallow: /*pop=0              
72. Disallow: /*product-search    
73. Disallow: /*flypage=            
74. Disallow: /*cart                  
75. Disallow: /*feed
76. Disallow: /*%
77. Host: http://erotech.org
78. Sitemap: http://erotech.org/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

Это для другого моего сайта с поддержкой ЧПУ

жду ваших комментариев

 

Спасибо Алиасу.

 

Тестируйте, а потом отпишите результат,я вот сейчас тоже жду очередное обновление в панели вебмастеров, по нему уже буду делать выводы и поправки если необходимо,