Das Crawlen von 404- und 410-Fehlerseiten belastet das Crawl-Budget. Damit wird eine frühere Aussage seitens Google präzisiert.
Wie wirken sich Besuche des Googlebots auf Fehlerseiten mit dem Status 404 und 410 auf das Crawl-Budget aus? Laut einer aktuellen Anmerkung von Johannes Müller auf Twitter zählen diese genauso wie Besuche auf anderen Seiten. Müller sagte (Übersetzung Red.):
"Sie nutzen das normale Crawl-Budget, aber wir aktualisieren sie nicht so oft, weil sie sich seltener 'ändern'."
Im Mai dieses Jahres hatte Johannes Müller mitgeteilt, dass das erneute Crawlen von 404-Seiten nicht zulasten des Crawl-Budgets erfolgen würde. Das liege daran, dass Google zunächst alle anderen Seiten crawle und erst dann, falls das Crawl-Budget noch nicht ausgeschöpft ist, erneut vormales gefundene 404-Seiten besuche.
Um es also auf den Punkt zu bringen: Das Crawlen von 404-Seiten wirkt sich nur dann spürbar auf das Crawl-Budget aus, wenn die Fehler erstmals auftreten. Wenn alle anderen Seiten abgearbeitet sind und Google die Fehlerseiten gegebenenfalls erneut besucht, hat das für das Crawl-Budget keine Bedeutung.
SEO-Newsletter bestellen
