Nachdem es rund um Googles Crawl-Limit von 15 MB für Webseiten viele Fragen und Missverständnisse gab, beantwortet Gary Illyes von Google jetzt die wichtigsten Fragen dazu.
Googles Mitteilung, dass nur die ersten 15 MB von Webseiten vom Googlebot abgerufen werden, hat zu verschiedenen Missverständnissen geführt. So wurde teilweise angenommen, dass auch Bilder und andere auf Webseiten vorhandene Medien von diesem Limit betroffen seien.
Um diesen Missverständnissen zu begegnen, hat Gary Illyes von Google in einem Blogpost die wichtigsten Fragen zu Googles Crawl-Limit beantwortet. Beachtenswert ist zunächst einmal: Das Limit ist nicht neu. Es besteht schon seit mehreren Jahren und wurde jetzt der Dokumentation hinzugefügt, um die Fehlersuche auf Webseiten zu erleichtern. Das Limit bezieht sich nur auf die Inhalte, welche der Googlebot bei seinem ersten Request erhält, nicht aber auf die mit einer Seite verbundenen Ressourcen.
Sie benötigen SEO-Beratung für Ihre Website?
Was konkret bedeutet das 15 MB-Limit für die Betreiberinnen und Betreiber von Websites?
Sehr wahrscheinlich nichts. Es gibt im Internet nur sehr wenige Seiten, die größer sind. Der Median der HTML-Dateien ist um etwa das 500fache kleiner und liegt bei etwa 30 KB. Sollte das HTML einer Seite tatsächlich größer als 15 MB sein, kann man Inline-Skripte und Inline-CSS in externe Dateien auslagern.
Was passiert mit den Inhalten jenseits der 15 MB?
Alle Inhalte jenseits der 15 MB werden nicht erfasst und auch nicht zur Indexierung weitergegeben.
Auf welche Arten von Content bezieht sich das Limit von 15 MB?
Das Limit bezieht sich auf Inhalte, die der Googlebot für Desktop oder der Googlebot für Smartphones abrufen, und bezieht die von Google unterstützten Dateitypen ein. Dazu gehören zum Beispiel PDF-Dateien, aber auch PostScript-, HTML, Excel-, Word-, OpenOffice-, Java-, XML-Dateien und einige weitere Dateitypen.
Bedeutet das 15 MB-Limit, der Googlebot sieht Bilder und Videos nicht?
Nein. Der Googlebot greift auf Bilder und Videos zu, die im HTML mit einer URL referenziert sind. Dabei handelt es sich um Folge-Abrufe, die vom Limit nicht betroffen sind.
Tragen data URIs zur Größe von HTML-Dateien bei?
Ja. Die Verwendung von data URIs trägt zur Dateigröße der HTML-Dateien bei, denn sie befinden sich innerhalb dieser Dateien.
Wie kann ich die Größe einer Seite prüfen?
Es gibt verschiedene Methoden, die Größe einer Seite zu prüfen. Am einfachsten ist sicherlich die Verwendung eines Browsers und des dort enthaltenen Developer Tools. So kann man zum Beispiel in den Chrome Developer Tools in das "Network"-Tab wechseln und die Seite neu laden. Daraufhin werden die Request angezeigt, die der Browser durchführen musste, um die Seite zu rendern. Dabei ist der erste Request entscheidend für das Limit. Die hier angegebene Dateigröße ist es, die dabei zu bewerten ist.
Mit diesen Fragen und Antworten sollten die meisten und größten Missverständnisse rund um Googles 15 MB-Limit beim Crawlen ausgeräumt sein.
SEO-Newsletter bestellen
