Google: Diese HTTP-Statuscodes belasten das Crawl-Budget

Nicht jeder URL-Aufruf geht zu Lasten des Crawl-Budgets, das Google einer Website einräumt. 400er-Fehler wie zum Beispiel 404er werden nicht vom Crawl-Budget abgezogen.

 

 Anzeige

Wenn eine Website viele Crawling-Fehler verursacht, muss dass nicht zu Lasten des Crawl-Budgets gehen. Google wertet nämlich HTTP-Antworten unterschiedlich. Eine Liste der Codes und ihr Bezug zum Crawl-Budget hat jetzt Kenichi Suzuki von Google auf LinkedIn veröffentlicht.

• Status 1xx: informative Antwort - kein Einfluss auf das Crawl-Budget
• Status 2xx: Erfolg - verbraucht Crawl-Budget
• Status 3xx: Weiterleitung: verbraucht Crawl-Budget per "Hop", also per Schritt auf der Weiterleitungsstecke
• Status 4xx: nicht indexierbar - verbraucht kein Crawl-Budget.
• Status 5xx: Serverfehler: nicht indexierbar und führt zur Verlangsamung des Crawlings. Verbraucht Crawl-Budget.

Das bedeuet: Mit Blick auf das Crawl-Budget muss man sich keine Sorgen machen, wenn es auf einer Website viele 4xx-Fehler gibt. Serverfehler sind dagegen gleich doppelt problematisch: Sie führen zu einer Verlangsamung des Crawlens und verbrauchen zusätzlich noch Crawl-Budget.