Google: Bei technischen Crawling-Problemen kann Aufteilen auf Domains und Subdomains helfen

Wenn Google aus technischen Gründen beim Crawlen an Grenzen stößt, kann das Aufteilen der Ressourcen auf mehrere Domains oder Subdomains helfen.

 Anzeige

Bei sehr großen Websites mit vielen URLs und Ressourcen wie Bildern, CSS und Javascript kann das Crawlen durch Google den Server der Website stark belasten. In diesem Fall reduziert Google die Crawl-Frequenz.

Eine Möglichkeit, das zu verhindern, ist das Aufteilen der Ressourcen auf verschiedene Domains oder Subdomains. Das schrieb John Müller auf LinkedIn. Wenn Google Probleme habe, so viel zu crawlen wie gewünscht, dann könne das Verteilen der Last auf verschiedene Subdomains oder Domains sinnvoll sein. Manchmal sei das für alle Arten von statischen Inhalten von Vorteil - unabhängig vom Crawlen durch Google. Viele Websites nutzen CDNs für statischen Content.

Für die meisten Websites sei das aber nicht nötig. Dadurch crawle Google nicht mehr, und mehr Crawlen sei nicht gleichbedeutend mit besseren Rankings.

Hauptdomain und Subdomains haben bei Google jeweils eigene Crawl-Budgets. Schon vor einigen Jahren hatte John Müller aber erklärt, dass eine Aufteilung auf Subdomains für das Crawlen nichts bringt, wenn Haupt- und Subdomains auf demselben Server liegen. In diesem Fall ändert sich durch die Aufteilung nichts an der Last für den Server.