Google verwendet nach eigener Aussage keine Obergrenze für die Dateigröße von HTML-Seiten beim Crawlen.
Wie umfangreich darf eine HTML-Seite sein, damit sie von Google gecrawlt werden kann, und gibt es eine Dateigröße, die dazu nicht überschritten werden sollte?
Laut John Müller von Google ist das nicht der Fall. Auf Twitter schrieb er, dass er zuletzt etwas von vielen Hundert Megabytes gesehen habe. Man müsse sich also keine Sorgen machen. Allerdings könnten riesige HTML-Seiten zur Verlangsamung führen, so dass man durchaus auf die Dateigröße achten sollte.
"We don't have a documented limit, last I saw someone check it was 10's-100's of MB, so I wouldn't worry about that. Giant HTML pages do slow things down, so it's probably still something to keep on your to-do list."
Eine Obergrenze gibt es zum Beispiel für XML-Sitemaps, die maximal 50 MB umfassen und höchstens 50.000 Einträge haben dürfen.
