SEO-News

SuchmaschinenbotWer nach dem 1. September 'noindex'-Regeln in der robots.txt belässt, muss keinen Schaden für die Darstellung in den Google-Ergebnissen fürchten. Einen Nutzen bringt dies allerdings auch nicht.

Gestern hatte Google damit begonnen, Webmaster zu informieren, die "noindex"-Regeln in der robots.txt verwenden. Sie werden in der Nachricht aufgefordert, "noindex" aus der robots.txt zu entfernen. Google hatte zuvor angekündigt, ab dem 1. September den Support für "noindex" in der robots.txt einzustellen, obwohl Google diese Verwendungsart nie offiziell unterstützt hatte.

Wer über den 1. September hinaus "noindex" in der robots.txt belässt, muss aber keinen Schaden befürchten. Das erklärte Johannes Müller per Twitter. Die Regeln würden einfach keine Wirkung mehr zeigen, und es ergäbe sich dadurch ein höherer Wartungsaufwand:

 

Google: kein Problem, 'noindex' in der robots.txt zu belassen

 

Wer URLs von der Indexierung ausschließen möchte, sollte das entweder unter Verwendung der Meta Robots Tags im HTML oder durch Einsatz des X-Robots-Tags im HTTP-Header tun. Die robots.txt dagegen dient nur der Steuerung des Crawlens: Damit kann mitgeteilt werden, welche URLs und Pfade die Crawler der Suchmaschinen besuchen dürfen und welche nicht.

 

Titelbild: Copyright Patrick Daxenbichler - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Die unter archive.org verfügbare Wayback Machine ermöglicht auch den Abruf alter robots.txt-Dateien. Das kann bei der nachträglichen Fehlersuche hilfreich sein.

Google hat eine neue Möglichkeit eingeführt, wie Website-Betreiber die Verwendung ihrer Inhalte für Bard und Vertex AI steuern können. Dazu kann 'Google-Extended' in der robots.txt genutzt werden.

Crawler bzw. Bots, die auf einer Website zugelassen sind, sollte man laut John Müller von Google nicht fragen, ob sie ein Bot sind, sondern ihnen einfach die gewünschten Inhalte zeigen.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px