Доброго дня! Подскажите, при возникновении противоречий правил в robots.txt и Meta name="Robots" какие правила для поисковика приорететнее? Допустим, если в robots.txt запрещено индексирование страницы, но робот попадает на нее по ссылке и видит <meta name="robots" content="index, follow" />, то будет индексировать или нет? И есть ли вред от добавления этого тега на все разрешенные, к примеру, для индексирования страницы (со значением "index, follow") , пусть даже они не запрещены в robots.txt , просто для некоторой "канонизации", что бы еще раз указать роботу что все содержание следует индексировать?
Re: Meta name="Robots" vs robots.txt Это лучше спросить у самого робота (или у Платона, например). По логике, страницы, а соответственно и мета-тег robots, должны читаться после прочтения robots.txt. Если в нем запрет, то и страница не должна читаться. Да и на практике никогда не заморачивался с мета-тегом (подозреваю, что там всё разрешено), а запреты пишу в robots.txt. При этом всё запрещается как надо. Нет. Похоже на попытку манипуляции - заставить индексировать ВСЁ. Естественно, всё сказанное - лишь моё мнение.
