SEO-News

Google Gebäude außen

Wer Google dazu bringen möchte, die Crawl-Rate für eine Website zu reduzieren, sollte dafür nicht die HTTP-Status 404 und 403 verwenden. Zum Absenken der Crawl-Rate gibt es andere Möglichkeiten.


 Anzeige

Gary Illyes von Google hat in einem neuen Blogpost darauf hingewiesen, dass das Senden der HTTP-Status 404 und 403 nicht geeignet ist, um Googles Crawl-Rate für eine Website zu reduzieren. Das gelte jedoch ausdrücklich nicht für den HTTP-Status 429.


 Anzeige

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Illyes schrieb diesen Blogbeitrag, weil es in letzter Zeit eine zunehmende Anzahl von Website-Betreibern und CDNs gibt, die 404- und andere Client Errors verwenden, um Googles Crawl-Rate zu senken. Illyes bittet darum, davon abzusehen, und statt dessen Googles Dokumentation zum Reduzieren der Crawl-Rate zu Rate zu ziehen. Darin werden verschiedene Möglichkeiten beschrieben, das Ziel zur erreichen:

  • Nutzen der Google Search Console für eine vorübergehende Absenkung der Crawl-Rate
  • Verwenden eines der HTTP-Status 500, 503 oder 429 für den Googlebot, wenn dieser zu schnell crawlt.

Dabei stehen die Status 500 und 503 für Serverfehler, während der Status 429 "too many requests" bedeutet.

Illyes wies darauf hin, dass die Status 404 und 403 Client-Fehler seien. Das bedeutet, dass das Problem auf der Seite des Anforderers liegt, etwa dann, wenn eine nicht existierende Seite angefordert wird oder eine Seite, auf die man keine Zugriffsberechtigung besitzt.

Wenn Google 404-Fehler zum Anlass für das Absenken des Crawlens nehmen würde, wäre es zum Beispiel möglich, durch das Setzen von Links auf nicht bestehende Seiten Googles Crawl-Rate zu beeinflussen.

Zudem führt das Senden von 4xx HTTP-Status dazu, dass die betreffenden Inhalte aus dem Google-Index entfernt werden. Das gilt jedoch nicht für den Status 429. 

Und wenn der Abruf der robots.txt-Datei zu einem 4xx HTTP-Status führt, handelt der Googlebot so, als gebe es keine robots.txt - und crawlt möglicherweise Seiten, die er nicht crawlen soll.


Christian Kunz

Von Christian Kunz

SEO-Experte.
Sie benötigen Beratung für Ihre Webseite? Klicken Sie hier


Anzeige

SEO-Vergleich


Verwandte Beiträge

Google gibt Entwarnung: Wenn plötzlich massenhaft Links auf nicht bestehende Seiten gesetzt werden und dadurch die Zahl der 404-Feher in der Google Search Console ansteigt, ist das kein Problem.

Das Tool zum Begrenzen der Crawl-Rate aus der Google Search Console wird zum heutigen 8. Januar eingestellt. Google kann die Crawl-Rate selbst am besten an die jeweiligen Bedingungen anpassen.

Wenn die 404-Seite einer Website den HTTP-Status 200 sendet, ist das zwar keine Katastrophe, sollte aber dennoch behoben werden. Google gibt Tipps dazu, was man in einem solchen Fall unternehmen...

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

 

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen sedo

SEO Agentur aus Darmstadt

SEO-Vergleich

Online Solutions Group


Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px