Google hat seinen Crawler aktualisiert. Der Googlebot läuft jetzt mit Chrome 78 als Rendering Engine. Doch es scheint noch Probleme zu geben.
Nachdem Google angekündigt hatte, den Googlebot zukünftig immer auf aktuellem Stand zu halten und an die jeweils verfügbare Chrome-Version anzupassen, wurde jetzt offenbar eine neue Version des Crawlers bzw. der verwendeten Rendering Engine ausgerollt. Diese läuft nun unter Chrome 78. Das hat SEO Bastian Grimm entdeckt und dies auf Twitter gepostet. Gleichzeitig schreibt er, der vom Googlebot genutzte User Agent, mit dem sich der Crawler zu erkennen gibt, trage noch immer die Bezeichnung Chrome 41:
Es scheint aber noch Probleme mit dem aktualisierten Googlebot zu geben. Wie Grimm schreibt, wird bei POST-Requests kein Auth Header-Token gesetzt, so dass Sicherheitseinstellungen gegen Cross Site Request Forgery (CSRF) Anfragen nicht durchlassen. Dies habe bis zu Version Chrome 77 gut geklappt:
In der Google Search Console habe sich dies durch die Angabe von "Other Error (XHR)" gezeigt. In den Logs sei der HTTP-Status 419 zu sehen gewesen, ein Authentifizierungs-Timeout, der gesetzt wird, nachdem eine vorherige Authentifizierung abgelaufen ist. Chrome 78 selbst verursache diese Probleme nicht - nur der Googlebot, welcher diese Version nutzt.
Martin Splitt von Google sagte zu, dies zu überprüfen:
Danke an Search Engine Roundtable
