Google crawlt neue Webseiten nicht gleich zu Beginn mit voller Kraft. Zuvor muss Vertrauen aufgebaut werden, dass sich das Crawlen überhaupt lohnt.
Das Crawl-Budget, das eine Webseite bei Google besitzt, hängt von verschiedenen Faktoren ab. Dazu gehört auch die technische Leistungsfähigkeit der Seite. Umso mehr Seiten der Server innerhalb einer bestimmten Zeitspanne ausliefern kann, desto mehr URLs kann der Crawler abrufen, ohne dass es zu Leistungseinbußen der Webseite kommt.
Doch auch wenn eine Webseite aus technischer Sicht eine besonders hohe Crawl-Frequenz erlaubt, bedeutet das nicht, das Google dies auch ausnutzt. Denn zuvor muss Google davon überzeugt werden, dass sich das Abrufen der Inhalte auch lohnt.
Mit dieser Situation sehen sich vor allem neue Webseiten konfrontiert, wie Johannes Müller im Webmaster-Hangout vom 30.11. erklärte. Selbst wenn auf einer Seite regelmäßig neue Inhalte veröffentlicht und diese in einer Sitemap aufgelistet werden, bedeute das noch nicht, dass Google diese Inhalte auch crawle. Google indexiere nicht alles, was es crawle, und Google crawle auch nicht alles, was crawlbar wäre.
Damit Google Inhalte für wertvoll genug hält, um diese zu crawlen und zu indexieren, bedarf es neben technischer vor allem inhaltlicher Faktoren, also relevanter Inhalte, die für die Nutzer von Mehrwert sind.
Bei neuen Webseiten kann es eine Weile dauern, bis Google dieses Vertrauen aufgebaut hat.
