Beim Einsatz der Anweisung 'none' im Meta-Robots-Tag kann es zu unerwünschten Effekten kommen: Sie bewirkt nämlich, dass eine Seite von den Suchmaschinen nicht indexiert und ihren Links nicht gefolgt wird.
Neben den bekannten Anweisungen "index" bzw "follow" sowie "noindex" und "nofollow" gibt es einige weitere Möglichkeiten, das Meta-Robots-Tag zu nutzen. Eine von diesen Möglichkeiten ist der Wert "none". Dabei kann es leicht zu einem Missverständnis kommen, denn 'none' bedeutet nicht. dass keine Anweisung vorliegt, sondern steht im Gegenteil für "noindex, nofollow". Damit bewirkt "none", dass Suchmaschinen betroffene Seiten nicht indexieren und ihren Links nicht folgen.
Auf diese Gefahr wies Screaming Frog in einem Tweet hin:
Screaming Frog zeigt die Werte für das Meta-Robots-Tag beim Crawlen einer Seite an. Dabei sollte neben den bekannten Werten auch geprüft werden, ob es Seiten gibt, für die "none" definiert ist.
Eine Übersicht aller möglichen Anweisungen für das Meta-Robots-Tag gibt es bei Google:
Quelle: Google
Titelbild: Copyright Patrick Daxenbichler - Fotolia.com
Verwandte Beiträge
Klarstellung: Wie Google und Bing mit der robots.txt und Meta-Robots-Tags umgehen
Was Ihr beachten müsst, wenn Ihr das Crawlen und Indexieren Eurer Seite durch verschiedene Suchmaschinen steuern wollt.
Google indexiert scheinbar einzelne Seiten, die auf 'noindex' gesetzt sind
Eine ineressante Äußerung seitens Google gab es in einem aktuellen Webmaster-Hangout: Anscheinend werden vereinzelt auch Seiten indexiert, obwohl sie auf "noindex" gesetzt sind. In den...
