Google scheint einige Websites deutlich weniger zu crawlen als noch vor einigen Tagen. Dafür gibt es bestätigte Berichte.
Die Anzahl der täglich gecrawlten URLs ist für Websites eine wichtige Kennzahl, denn nur wenn Google möglichst viele Seiten crawlt, können auch entsprechend viele Seiten indexiert oder im Index aktualisiert werden.
Sie benötigen SEO-Beratung für Ihre Website?
In diesen Tagen scheint Google das Crawlen für manche Websites deutlich reduziert zu haben. Darüber berichtet SEO Glenn Gabe auf Twitter. Demnach scheinen vor allem große und komplexe datengetriebene Websites vom Rückgang betroffen zu sein. So gab es zum Beispiel bei einer Website einen Rückgang von 600.000 auf 2.000 Seiten pro Tag, die von Google gecrawlt wurden. Bei einer anderen Website ging die Zahl von 500.000 auf 15.000 Seiten zurück.
Gabe nennt als mögliche Ursache dafür entweder Qualitätsprobleme der Websites oder dass Google besser erkennen kann, wie oft es auf den Websites zu Veränderungen kommt:
Der Rückgang konnte offenbar anhand von Logfiles bestätigt werden. Damit lassen sich Fehler in den Crawling-Statistiken von Google ausschließen:
Dabei ist anzumerken, dass ein Rückgang des Crawlens nicht automatisch gleichzusetzen ist mit gesunkenen Rankings. Allerdings kann die Aktualität der Suchergebnisse einer Website durch weniger Crawlen sinken.
Schaut am besten einmal in den Crawling-Statistiken der Google Search Console oder in Euren Logfiles nach, ob Google das Crawlen Eurer Website reduziert hat.
