Cloudflare kann laut einem Bericht den Zugriff für den Googlebot auf Webseiten blockieren

Es gibt Meldungen darüber, dass Cloudflare den Zugriff des Googlebots auf Webseiten blockieren kann. Eine mögliche Ursache sind die neuen Einstellungen zum Blockieren von KI-Bots.

Hält Cloudflare den Googlebot vom Crawlen und Indexieren von Webseiten ab? Auf Reddit schreibt dazu ein Nutzer, er habe das neue Cloudflare Feature für KI-Bots getestet, und dabei sei etwas Unerwartetes passiert. Wenn er die Einstellung für Bots, die zum Trainieren von KI-Modellen genutzt werden, auf "Block" setze, dann würden sowohl der Googlebot als auch der Bingbot 403-Antworten erhalten, wenn sie versuchen, die Sitemap abzurufen. Nach dem Deaktivieren dieser Einstellung funktioniere der Abruf wieder normal.

"When I set AI Training = Block, both Googlebot and Bingbot start receiving HTTP 403 responses when trying to fetch my sitemap. As soon as I disable the AI Training block, the sitemap is accessible again."

Hintergrund: Cloudflare hatte Anfang Juli angekündigt, ab dem 15. September bei Crawlern, die für verschiedene Zwecke eingesetzt werden, standardmäßig die jeweils strikteste Einstellung zu verwenden. Wenn ein Bot zum Beispiel zum Indexieren für die Suche, aber auch für das Training von KI-Modellen eingesetzt werde, erhält dieser fortan keinen Zugriff mehr auf Webseiten mit Werbung - es sei denn, man wählt selbst eine andere Einstellung.

Der Autor des Beitrags auf Reddit fügte hinzu, dass es sich dabei nicht um einen Test mit einem imitierten Googlebot gehandelt habe. Das Dashboard in Cloudflare selbst habe angezeigt, dass Googlebot und Bingbot blockiert seien. In der Google Search Console seien für den entsprechenden Zeitraum die Fehlermeldungen aufgetaucht.

Von Cloudflare gibt es dazu bisher keine Reaktion - weder im Thread auf Reddit noch per Pressemitteilung.

.