404-Fehler in der Google Search Console können ein Hinweis darauf sein, dass Google alle wichtigen URLs einer Website gecrawlt hat.
Im Bericht zur Indexabdeckung der Google Search Console kommt es bei vielen Websites zu Meldungen über 404-Fehler. Dabei handelt es sich um URLs, die Google crawlen wollte, die aber nicht erreichbar waren und zum HTTP-Status 404 führten. Manchmal befinden sich darunter auch URLs, die es auf der betreffenden Website gar nicht gibt.
Wie es dazu kommen kann, hat jetzt John Müller in den Google Search Central SEO Office Hours vom 17. September erklärt. Zunächst einmal lege Google für eine Website ein Set wichtiger URLs fest, die zum Crawlen und zum Indexieren benötigt werden. Sobald diese URLs verarbeitet seien, könnten dann weitere URLs gecrawlt werden, auf die Google stoße. Es gebe also für das Crawlen zwei unterschiedliche Kategorien von URLs.
Zur zweiten Kategorie gehören zum Beispiel auch URLs, die von Scraper-Websites stammen, also von Websites, die andere Websites abgreifen und deren Inhalte verwenden. Dabei können URLs entstehen, die es so auf den betreffenden Websites gar nicht gibt.
Wenn Google solche URLs crawlt, kann es zu 404-Fehlern kommen. Dabei könne das Crawlen dieser URLs ein gutes Zeichen sein, denn das weise darauf hin, dass Google alle wichtigen URLs bereits gecrawlt habe und noch über Kapazitäten verfüge. Diese Kapazitäten stünden auch für zusätzliche Inhalte und URLs zur Verfügung, die es direkt auf der Website gebe.
Mit seiner Antwort erklärt John Müller also nicht nur, wie 404-Fehler in der Search Console entstehen können, sondern auch, was sich daraus ableiten lässt.
Titelbild: Copyright Dirk Schumann - stock.adobe.com
