Seiten, die einen Statuscode aus der 400er-Reihe senden, gehen nicht zu Lasten des Crawl-Budgets. Eine Ausnahme gibt es aber.
Das Crawl-Budget einer Website ist die Obergrenze der Anzahl von URLs der Website, die Google innerhalb einer bestimmten Zeitspanne crawlt. Ein noch immer bestehender Mythos zum Crawl-Budget besagt, dass der Abruf von URLs, die einen Status aus der Reihe der 400er-Codes zurückgeben, also zum Beispiel 404 oder 410, zu Lasten des Crawl-Budgets gehen.
Sie benötigen SEO-Beratung für Ihre Website?
Diesen Mythos räumt Google jetzt aus. Auf der zugehörigen Dokumentationsseite ist nun zu lesen, dass Seiten mit einem 4xx-Status nicht zu Lasten des Crawl-Budgets gehen. Wörtlich steht dort:
Pages that serve 4xx HTTP status codes (except 429) don't waste crawl budget. Google attempted to crawl the page, but received a status code and no other content.
Eine Ausnahme bildet lediglich der Status 429 "Too many requests". Er wird dann gesendet, wenn ein Nutzer in einem bestimmten Zeitraum zu viele Anfragen gestellt hat. Und auch Soft-404-Fehler können das Crawl-Budget belasten.
Es ist also mit Blick auf das Crawl-Budget einer Website vollkommen unproblematisch, wenn es dort zum Beispiel viele 404-Fehler gibt. Abgesehen davon ist das Crawl-Budget sowieso nur ein Thema für Websites mit vielen Hunderttausend oder mehr URLs.
Danke an Glenn Gabe.
