SEO-News

WordPressIn WordPress 5.3 gibt es eine wichtige Änderung für Websites, die nicht indexiert werden sollen. Statt eines Eintrags in der robots.txt werden jetzt Meta Robots-Tags verwendet. Das ist sinnvoll.

In WordPress gibt es eine Option, mit der das Indexieren einer Website durch Suchmaschinen ausgeschlossen werden kann. Unter dem Punkt "Sichtbarkeit für Suchmaschinen" kann man diese Auswahl treffen:

 

WordPress: Sichtbarkeit für Suchmaschinen

 

Diese Funktion ist zum Beispiel für Websites im Entwicklungsstadium sinnvoll.

Bisher hatte die Auswahl der Option zur Folge, dass in der robots.txt der betreffenden Website ein Eintrag mit "Disallow: /" gesetzt wurde. Diese Direktive soll das Crawlen der gesamten Website ausschließen.

Allerdings ist es so, dass per robots.txt gesperrte Seiten durchaus in den Suchergebnissen von Google erscheinen können, etwa dann, wenn es externe Links auf die Seiten gibt. Das Sperren per robots.txt ist also keine sichere Methode gegen das Indexieren.

Aus diesem Grund hat WordPress mit der Version 5.3 eine Änderung vorgenommen. Ab jetzt wird anstatt des Eintrags in der robots.txt auf allen Seiten das Meta Robots-Tag "noindex, nofollow" gesetzt. Diese Methode ist sicherer.

Um auch das Indexieren von Ressourcen wie Bildern, PDF-Dateien oder Videos zu verhindern, sollte allerdings im HTTP-Header jeweils das X-Robots-Tag auf "noindex" gesetzt werden. Weil die Ressourcen direkt vom Server ausgeliefert werden, ist diese Einstellung nicht in WordPress möglich. Diese muss in der Konfiguration des Servers vorgenommen werden.

 

Verwandte Beiträge

Es ist keine gute Idee, die robots.txt einer Website dynamisch zu ändern, um zum Beispiel die Serverlast durch das Crawlen zu steuern.

Indexierte URLs, die per robots.txt gesperrt sind, werden von Google irgendwann aus dem Index entfernt. Das ist zum Beispiel dann wichtig, wenn große Mengen an URLs auf einmal per robots.txt...

Auf der Google Search Central in Zürich wurden für die Zukunft häufigere Core Updates angekündigt. Auch die Bedeutung der robots.txt und von strukturierten Daten wurde betont.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen Digitaleffects

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px