Die Vorstellung, dass Google URLs direkt crawlt, auf deren Link der Googlebot stößt, ist falsch. Vielmehr werden die URLs zuvor gesammelt und später besucht.
Der Prozess des Crawlens von Webseiten durch Google ist komplexer, als sich viele das vorstellen. URLs, auf die Google stößt, werden nicht sofort aufgerufen, sondern zunächst einmal gesammelt und dann später besucht. Das erklärte Gary Illyes in der aktuellen Ausgabe des Google SEO-Podcasts "Search Off the Record".
Sie benötigen SEO-Beratung für Ihre Website?
Auf LinkedIn fasste Illyes die wichtigsten Punkte zusammen. Dieses Verhalten lasse sich zum Beispiel an den Server-Logfiles von Websites erkennen. Es gebe mehr, als nur URLs aufzurufen, die sich in Linkelementen befinden. Es gebe Mechanismen zur Priorisierung, zur Deduplizierung und mehr.
Vereinfachend zu sagen, Google "folge" den Links, könne in manchen Situationen sinnvoll sein. In anderen Fällen sei es dagegen gut, mehr in die Tiefe zu gehen und das Vorgehen detaillierter darzustellen.
Wie Google tatsächlich beim Finden und Abrufen neuer URLs vorgeht, veranschaulicht die folgende Abbildung. Ein Downloader sorgt für das Herunterladen von Inhalten. Dabei werden neben Texten und Metadaten auch URLs gefunden. Diese landen in einer Warteliste. Eine Steuerungskomponente regelt, wann welche URLs gecrawlt werden.
Dieses Vorgehen ist dafür verantwortlich, dass die Reihenfolge von Links auf einer Seite nicht bestimmt, wann die URLs gecrawlt werden. Das hatte John Müller im Jahr 2022 erklärt.
SEO-Newsletter bestellen
