SEO-News

Googlebot

Die Vorstellung, dass Google URLs direkt crawlt, auf deren Link der Googlebot stößt, ist falsch. Vielmehr werden die URLs zuvor gesammelt und später besucht.


 Anzeige

Der Prozess des Crawlens von Webseiten durch Google ist komplexer, als sich viele das vorstellen. URLs, auf die Google stößt, werden nicht sofort aufgerufen, sondern zunächst einmal gesammelt und dann später besucht. Das erklärte Gary Illyes in der aktuellen Ausgabe des Google SEO-Podcasts "Search Off the Record".

Sie benötigen SEO-Beratung für Ihre Website?

Jetzt unverbindlich anfragen

Auf LinkedIn fasste Illyes die wichtigsten Punkte zusammen. Dieses Verhalten lasse sich zum Beispiel an den Server-Logfiles von Websites erkennen. Es gebe mehr, als nur URLs aufzurufen, die sich in Linkelementen befinden. Es gebe Mechanismen zur Priorisierung, zur Deduplizierung und mehr.

Vereinfachend zu sagen, Google "folge" den Links, könne in manchen Situationen sinnvoll sein. In anderen Fällen sei es dagegen gut, mehr in die Tiefe zu gehen und das Vorgehen detaillierter darzustellen.

 

Google folgt Links nicht einfach nur 

 

Wie Google tatsächlich beim Finden und Abrufen neuer URLs vorgeht, veranschaulicht die folgende Abbildung. Ein Downloader sorgt für das Herunterladen von Inhalten. Dabei werden neben Texten und Metadaten auch URLs gefunden. Diese landen in einer Warteliste. Eine Steuerungskomponente regelt, wann welche URLs gecrawlt werden.

 

Crawler und Steuerung des Crawlens

 

Dieses Vorgehen ist dafür verantwortlich, dass die Reihenfolge von Links auf einer Seite nicht bestimmt, wann die URLs gecrawlt werden. Das hatte John Müller im Jahr 2022 erklärt.

Verwandte Beiträge

URLs sollten nach einer Empfehlung von John Müller möglichst kurz sein und sich nicht ändern. Allerdings ist die URL-Länge kein Rankingfaktor.

URLs spielen für die Rankings nur eine kleine Rolle. Viel wichtiger sind Inhalte und andere Faktoren.

Eine aktuelle Studie zeigt, dass die Crawler verschiedener KI-Tools mit JavaScript nicht umgehen können. Hier hat Google noch große Vorteile.

SEO-Newsletter bestellen

Im monatlichen SEO-Newsletter erhaltet Ihr eine Übersicht der jeweils zehn wichtigsten SEO-Meldungen des Monats. Mit dem SEO-Newsletter bleibt Ihr auf dem Laufenden.
Ich bin mit den Nutzungsbedingungen einverstanden

 

 

Anzeige

rnkeffect

Premium-Partner (Anzeige)


Anzeigen Digitaleffects

Online Solutions Group

Onsite-Optimierung

Onsite-Optimierung

 

Sprecher auf

SEO- und Suchmaschinenblogs

SEO-FAQ

Bild © FM2 - Fotolia.com

SEO selber machen

SEO selber machen

Bekannt aus

Website Boosting


Internet World Business

SEO United


The SEM Post


Webselling

Jetzt vernetzen

SEO-Glossar

SEO-Glossar

 

SEO im Ohr, der Podcast von SEO Südwest: aktuell Folge

SEO-Beratung

Wir bringen gemeinsam Ihre Webseite in Google nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Social Networks und RSS-Feed

Auszeichnungen

seo19 sieger sichtbarkeit 2020 200x200px