Der Googlebot ist in der Lage, auch sehr große Seiten vollständig zu crawlen. Das zeigt ein aktueller Test. Bezogen auf die Höhe dürfen mobile Seiten noch größer sein als Desktop-Seiten.
Im August dieses Jahres hatte ein Test gezeigt, dass die Funktion "Abruf wie durch Google" Seiten bis zu einer Höhe von 10.000 Pixel verarbeiten bzw. rendern kann.
Für einen aktuellen Test wurde erneut die Funktion "Abruf wie durch Google genutzt" und ein Code erstellt, der bestimmte Events aus der Chrome-Console während des Renderns erfasst, die durch den Googlebot erzeugt werden. Das ist möglich, weil der Googlebot Chrome 41 zum Rendern von Webseiten nutzt.
Die auf diese Weise gewonnenen Ausgaben wurden in ein <pre>--Element auf einer Webseite geschrieben und nacheinander angehängt. Siehe dazu die entsprechende Demo-Seite. Ein Teil der beim Test erzeugten Ausgaben ist im folgenden Screenshot zu sehen:
Die Ergebnisse des Experiments zeigen, dass die maximale Pixelhöhe für den mobilen Googlebot bei 12.140 Pixeln liegt. Die Desktop-Version erreicht maximal 9.307 Pixel.
Interssanterweise zeigte sich im Test sich auch, dass Google das Flag "cookiesEnabled" auf "true" gesetzt hat, wenngleich die Cookies nicht zwischen einzelnen Sitzungen gespeichert werden. Dennoch kann es gut sein, dass Google die Cookie-Informationen in irgendeiner Weise nutzt.
Die Ergebnisse können so interpretiert werden, dass man sich in der Regel wenig Sorgen darüber machen muss, ob weiter unten auf einer Seite stehende Inhalte erfasst werden - solange die Ladezeit nicht zu hoch ist.
Wie zuverlässig die Ergebnisse tatsächlich sind und ob sie den realen Bedingungen beim Crawlen entsprechen, ist allerdings fraglich.
Titelbild © AKS - Fotolia.com
