SEO-News

Googlebot

Änderungen an der robots.txt, auch solche, welche die gesamte Website betreffen, wirken sich nicht sofort auf alle URLs aus, sondern werden nach und nach angewandt.


 Anzeige

Ein klassischer und gleichzeitig fataler Fehler in der robots.txt einer Website ist es, aus Versehen alle URLs per disallow: / für das Crawlen der Suchmaschinen zu sperren.

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Allerdings ist es nicht so, dass sich eine solche Änderung der robots.txt sofort auf die gesamte Website auswirkt - selbst dann, wenn eine Direktive alle URLs betrifft. Wie jetzt John Müller von Google auf Mastodon erklärte, gehe es nicht darum, wann Google eine Direktive in der robots.txt sehe, sondern wann die betreffenden URLs von Google verarbeitet werden. Trifft Google auf ein disallow: /, dann werde sich das nicht morgen auf alle URLs auswirken, sondern es beginne, sich auf URL-Basis auszuwirken. Genauso verhalte es sich auch mit dem Status 404: Hier werde nicht gleich die komplette Website aus dem Index entfernt, sondern auch das geschehe auf URL-Basis.

I guess the thing to keep in mind is that it's not about when we see the change in the robots.txt, it's about when we would have wanted to reprocess the URL. If I disallow: / today, and Google sees it tomorrow, it doesn't change all of the URLs into robotted tomorrow, it only starts doing that on a per-URL basis then. It's like when you 404 a whole site, the whole site doesn't drop out, but instead it happens on a per-url basis.

 

Google: Änderungen an der robots.txt wirken sich nicht sofort auf die gesamte Website aus

 

Dabei werden die wichtigsten URLs einer Website zuerst betroffen sein, denn diese werden von Google am häufigsten gecrawlt. Das bedeutet, dass nach einer Änderung an der robots.txt, die alle URLs einer Website betrifft, vermutlich zuerst die Startseite sowie wichtige Kateorieseiten verarbeitet werden.


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.

Die Google Search Console hat einen neuen robots.txt-Report erhalten. Dafür wird der alte robots.txt-Tester eingestellt.

Per 'Google-extended' kann man nicht verhindern, dass Google Webseiten für KI-Antworten in der neuen Suche 'Google SGE' verwendet.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px