SEO-News

CrawlerDirektiven aus der robots.txt werden von Google normalerweise innerhalb eines Tages erfasst. Damit lassen sich auch schnelle Änderungen durchführen.

Die robots.txt ist ein wichtiges Element auf einer Webseite, weil darin beschrieben ist, welche URLs, Seiten und Pfade die Crawler der Suchmaschinen erfassen dürfen und welche nicht.

Manchmal sind kurzfristige Änderungen an der robots.txt erforderlich, etwa dann, wenn bestimmte Seiten nicht mehr gecrawlt werden sollen oder wenn es darum geht, bestehende Beschränkungen für die Crawler aufzuheben.

Doch wie lange dauert es, bis Google solche Änderungen an der robots.txt erfasst? Laut Johannes Müller geschieht dies in der Regel innerhalb eines Tages. Das hat er auf Twitter mitgeteilt:

 

Google: Direktiven aus der robots.txt werden normalerweise innerhalb eines Tages erfasst

 

Zuvor hatte ein Nutzer gefragt, warum eine "Disallow"-Regel, die er vor drei Wochen eingerichtet hatte, noch immer nicht greife. Google crawle die betreffende Seite immer noch. Müller gab die Empfehlung, auf Groß- und Kleinschreibung und mögliche Parameter zu achten.

Die kurze Reaktionszeit Googles auf Änderungen in der robots.txt bietet Webmastern eine gewisse Sicherheit, dass auch kurzfristige Anpassungen möglich sind.

 

Titelbild: Copyright AKS - Fotolia.com

 


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google empfiehlt, sogenannte Action URLs per robots.txt zu blockieren, um das Crawlen auf wichtige URLs zu fokussieren.

Die Google Search Console hat einen neuen robots.txt-Report erhalten. Dafür wird der alte robots.txt-Tester eingestellt.

Per 'Google-extended' kann man nicht verhindern, dass Google Webseiten für KI-Antworten in der neuen Suche 'Google SGE' verwendet.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

Better sell online

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px