Google erklärt die verschiedenen Limits beim Crawlen und warum Webseiten immer größer werden.
Im Laufe der Jahre ist das Web spürbar gewachsen, und damit auch der Datenumfang der einzelnen aufgerufenen Seiten. Während im Jahr 2015 die durchschnittliche mobile Startseite noch etwa 845 Kilobyte an Daten umfasste, stieg dieser Medianwert laut dem Web Almanac bis Juli 2025 auf 2,3 Megabyte an.
Für Suchmaschinen wie Google ist das eine Herausforderung, denn es gibt immer mehr Dokumente, die gecrawlt werden müssen. Wenn diese Dokumente zusätzlich stetig wachsen, kann das die Crawling-Infrastruktur an ihre Grenzen bringen.
In einer neuen Folge von Search Off the Record, dem SEO-Podcast von Google, erklären Gary Illyes und Martin Splitt von Google, welche Datenmenge der Googlebot abruft und wie sich die Limits zusammensetzen.
Wir bringen gemeinsam Ihre Website nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.
Der Begriff der Seitengröße oder des “Page Weight” wird je nach Kontext ganz verschieden interpretiert. Für manche beschreibt er nur den Umfang des reinen HTML, während andere Ressourcen wie Bilder, Stylesheets und weitere Medien in diese Berechnung einbeziehen, weil all diese Elemente heruntergeladen werden müssen, damit eine Seite dargestellt werden kann.
Auch die Ebene der Datenübertragung spielt eine wichtige Rolle, denn zum Beispiel durch Komprimierung auf Netzwerkebene kann eine Seite während des eigentlichen Transfers deutlich weniger Datenvolumen beanspruchen. Beispiele aus der Praxis zeigen, dass allein das reine HTML-Dokument stark anwachsen kann, etwa wenn Bilder direkt in Textform in den Quellcode eingebettet werden, was zu sehr großen HTML-Dateien von bis zu 50 Megabyte führt.
Aus der Perspektive von Suchmaschinen und deren Crawlern ist die Größe einer Webseite ein wichtiger technischer Faktor. Laut Dokumentation von Google ruft der Googlebot standardmäßig genau 15 Megabyte an Rohdaten von einer spezifischen URL ab und bricht den Lesevorgang danach ab. Wichtig dabei ist, dass diese Begrenzung jeweils pro URL gilt. Wenn ein HTML-Dokument also auf weitere Dateien verweist, haben diese referenzierten Inhalte ihr jeweils eigenes Limit von 15 Megabyte.
Passend dazu hat Google eine neue Dokumentation zum Crawlen und zum Googlebot veröffentlicht. Demnach ruft der Googlebot bis zu 2 MB pro individueller URL ab (mit Ausnahme von PDF-Dateien). Das bedeutet, es werden nur die ersten 2 MB einer Ressource gecrawlt. Dazu gehört auch der HTTP-Header. Für PDF-Dateien liegt das Limit bei 64 MB.
Crawle für Bilder und Videos haben normalerweise eine große Bandbreite an Grenzwerten. Das hängt von dem abgerufenen Produkt ab. So hat zum Beispiel ein Favicon ein nur geringes Limit. In der Bildersuche ist das dagegen anders.
Für Crawler ohne spezifisches Limit liegt die Standard-Obergrenze bei 15 MB, und das unabhängig von der Art der Inhalte.
Das alles hat verschiedene Konsequenzen:
Unsichtbarer Ballast kann den Quellcode einer Seite erheblich vergrößern. Insbesondere strukturierte Daten, die ausschließlich für Maschinen und Suchmaschinen gedacht sind und von menschlichen Besuchern niemals gesehen werden, können eine Seite bei übermäßigem Einsatz stark aufblähen. Zwar kaschieren moderne, schnelle Internetverbindungen die Datenmengen oft, sodass die Ladezeit für viele Nutzer kaum ins Gewicht fällt, doch für Menschen in Regionen mit schlechter Netzabdeckung oder auf teuren, volumenbasierten Verbindungen bleibt das gestiegene Datenvolumen ein großes Problem.
Schnellere Webseiten führen zu einer deutlich besseren Nutzerbindung und höheren Konversionsraten. Deshalb lohnt es sich für Entwickler nach wie vor, den Umfang der gesendeten Daten kritisch zu prüfen und wo möglich zu reduzieren.
Premium-Partner (Anzeige)
Anzeigen
