Google fordert Website-Betreiber zum Entfernen von 'noindex' aus robots.txt auf

Google versendet Benachrichtigungen an Webmaster, die 'noindex' in ihrer robots.txt verwenden. Zu Anfang September wird Google 'noindex' in der robots.txt nicht mehr unterstützen.

Schon bisher galt, dass Google "noindex" in der robots.txt nicht offiziell unterstützt. Wie das Unternehmen vor einigen Wochen mitteilte, wird Google den Support für "noindex" und einige andere Anweisungen in der robots.txt zum 1. September einstellen.

Im Vorfeld zu dieser Umstellung versendet Google bereits jetzt Benachrichtigungen an betroffene Webmaster, die "noindex" in der robots.txt verwenden. Das folgende Beispiel einer solchen Benachrichtigung hat ein Nutzer auf Twitter geteilt:

In der Benachrichtigung heißt es:

"Google hat erkannt, dass die robots.txt-Datei Ihrer Website die nicht unterstützte Regel 'noindex' enthält. Diese Regel ist von Google niemals offiziell unterstützt worden und wir ab dem 1. September 2019 nicht mehr funktionieren. Bitte schauen Sie in unserem Hilfecenter nach, um zu erfahren, wie sie Seiten für den Google-Index blockieren können."

Die entsprechende Seite im Hilfecenter ist hier zu finden.

Als Alternativen zum Blockieren von URLs für den Google-Index können zum Beispiel Meta-Robots-Tags oder das Feld "X-Robots" im HTTP-Header genutzt werden. Auch das Löschen von Seiten oder das Senden eines 404- oder eines 410-Status führt zum Entfernen der betreffenden Seiten aus dem Index.