Google crawlt 404 URLs länger: Zeichen dafür, dass Google mehr Inhalte von der Website will

Google crawlt auf manchen Websites URLs, auch wenn sie schon länger einen 404 zurückgeben. Das kann ein Zeichen dafür sein, dass Google bereit ist, mehr Inhalte der Website abzurufen.

 Anzeige

Wenn auf einer Website bestimmte URLs nicht mehr verfügbar sind und der Aufruf der URLs zum Status 404 führt, kann es trotzdem länger dauern, bis Google das Crawlen dieser URLs einstellt.

Um einen solchen Fall ging es gerade auf Reddit. Hier beschrieb ein Nutzer, dass Google eine Reihe von nicht mehr bestehenden URLs crawle und sowohl im Page-Inspection-Tool als auch in den Crawling-Statistiken angebe, die URLs seien über die XML-Sitemap gefunden worden - und das, obwohl diese URLs dort nicht mehr enthalten seien.

John Müller antwortete, das verursache keine Probleme. Solche URLs können durchaus über einen langen Zeitraum abgerufen werden. Daran ändere auch ein Status 410 nichts. Auf eine bestimmte Weise sei das auch ein Zeichen dafür, dass Google kein Problem damit habe, mehr Inhalte von der Website abzurufen.

Ruft Google also viele 404-URLs von einer Website ab, kann das als gutes Zeichen angesehen werden, denn offenbar ist genügend Crawl-Budget vorhanden. Dieses sollte genutzt werden, indem zum Beispiel neue Inhalte erstellt und bestehende Inhalte aktualisiert werden, die dann ihren Weg in den Google Index finden.