WordPress 5.3: wichtige Änderung für Websites, die nicht indexiert werden sollen

In WordPress 5.3 gibt es eine wichtige Änderung für Websites, die nicht indexiert werden sollen. Statt eines Eintrags in der robots.txt werden jetzt Meta Robots-Tags verwendet. Das ist sinnvoll.

In WordPress gibt es eine Option, mit der das Indexieren einer Website durch Suchmaschinen ausgeschlossen werden kann. Unter dem Punkt "Sichtbarkeit für Suchmaschinen" kann man diese Auswahl treffen:

Diese Funktion ist zum Beispiel für Websites im Entwicklungsstadium sinnvoll.

Bisher hatte die Auswahl der Option zur Folge, dass in der robots.txt der betreffenden Website ein Eintrag mit "Disallow: /" gesetzt wurde. Diese Direktive soll das Crawlen der gesamten Website ausschließen.

Allerdings ist es so, dass per robots.txt gesperrte Seiten durchaus in den Suchergebnissen von Google erscheinen können, etwa dann, wenn es externe Links auf die Seiten gibt. Das Sperren per robots.txt ist also keine sichere Methode gegen das Indexieren.

Aus diesem Grund hat WordPress mit der Version 5.3 eine Änderung vorgenommen. Ab jetzt wird anstatt des Eintrags in der robots.txt auf allen Seiten das Meta Robots-Tag "noindex, nofollow" gesetzt. Diese Methode ist sicherer.

Um auch das Indexieren von Ressourcen wie Bildern, PDF-Dateien oder Videos zu verhindern, sollte allerdings im HTTP-Header jeweils das X-Robots-Tag auf "noindex" gesetzt werden. Weil die Ressourcen direkt vom Server ausgeliefert werden, ist diese Einstellung nicht in WordPress möglich. Diese muss in der Konfiguration des Servers vorgenommen werden.