Bei einander widersprechendem Meta Robots-Tag und X-Robots-Tag gewinnt die restriktivere Direktive.
Es ist grundsätzlich möglich, dass es auf einer Webseite verschiedene Robots-Direktiven gibt, die einander widersprechen. So kann es zum Beispiel passieren, dass sich im HTML-Code mehrere Meta Robots-Tags mit unterschiedlichen Attributen befinden, so dass im einen Tag das Attribut mit dem Wert "index" und im anderen Tag das Attribut mit dem Wert "noindex" steht. In diesem Fall gewinnt die restriktivere Direktive.
Möglich ist aber auch, dass es für eine URL sowohl ein Meta Robots-Tag als auch ein X-Robots Tag gibt, die einander widersprechen. Auch hier greift jeweils die strengere Direktive, also im Beispiel das "noindex". Analog gilt das für "follow" und "nofollow".
John Müller bestätigte dies nun per Twitter. Er schrieb dazu, man könne ein "noindex, follow" als Standard ansehen und lediglich die Einstellungen, die nicht dem Standard entsprechen, überwachen (noindex, nofollow):
"I'm pretty sure it's also documented that way. Most restrictive rule wins. One way to think of it is that the default = index, follow, and you only track the settings that are non-default (noindex, nofollow) to determine the final state."
Bei der Verwendung von SEO-Tools zur Überprüfung der Indexierbarkeit von URLs sollte man daher nicht nur auf die Direktiven aus den Meta Robots-Tags blicken, sondern auch darauf achten, welche Werte in den X-Robots-Tags stehen.
Titelbild: Copyright Paul Pirosca - Fotolia.com
