Wenn auf einer Website ein neues Verzeichnis hinzugefügt wird, nutzt Google die Signale der gesamten Website, um zu prüfen, ob sich das Crawlen des Verzeichnisses lohnt.
Google crawlt nur solche Inhalte, bei denen die Suchmaschine davon ausgeht, dass sie für die Suche und deren Nutzer einen Mehrwert bringen. Wenn auf einer Website ein neues Verzeichnis wie zum Beispiel ein Blog angelegt wird, so weiß Google aber über dieses neue Verzeichnis zunächst einmal nichts, weil noch keine Signale gesammelt wurden.
Sie benötigen SEO-Beratung für Ihre Website?
In solchen Fällen nutzt Google Signale der gesamten Website, um den Crawl-Bedarf zu bestimmen, wie Gary Illyes in der neuen Ausgabe von Search Off the Record, Googles SEO-Podcast, erklärte. Zu diesen Signalen gehört nicht nur die Aktualisierungsrate bzw. die Update-Frequenz auf der Website, sondern es werden zahlreiche weitere Qualitätssignale verwendet.
Wenn ein bestimmtes Muster wie zum Beispiel ein bestimmtes Verzeichnis auf der Website wie "/blog" oder "/produkte" populär ist und die Menschen darauf verlinken, ist das für Google ein Zeichen, dass die Menschen dieses Verzeichnis mögen.
Das alles bedeutet, dass es auf Websites, die in Google bereits etabliert sind und die gute Rankings erzielen, einfacher ist, neue Verzeichnisse crawlen zu lassen als auf weniger populären Websites.
Das Crawl-Budget einer Website bestimmt sich sowohl durch den Crawl-Bedarf, den Google sieht - zum Beispiel aufgrund hochwertiger Inhalte - als auch durch die bestehenden Limitierungen wie zum Beispiel die Leistungsfähigkeit der Website.
SEO-Newsletter bestellen
