Cloudflare bietet jetzt Website-Betreibern die Möglichkeit, den Zugriff von KI-Bots zu kontrollieren und sogar Geld für das Abgreifen der Inhalte zu verlangen. Ein wichtiger Schritt, um die Hoheit über den eigenen Content zurückzuerobern.
Die Anbieter von Chatbots und Tools mit Generativer KI wie zum Beispiel ChatGPT sind zum Trainieren ihrer Modelle auf große Datenmengen angewiesen. Dazu crawlen die Bots der Anbieter viele Webseiten. Die Betreiber der Websites bekommen davon meist nichts mit und werden für ihre Inhalte oftmals auch nicht kompensiert. Klassische Möglichkeiten zum Steuern des Crawlens wie zum Beispiel die robots.txt helfen hier nicht weiter.
Sie benötigen SEO-Beratung für Ihre Website?
Jetzt unverbindlich anfragenJetzt bietet der CDN-Anbieter Cloudflare eine Möglichkeit, die Zugriffe von KI-Bots zu analysieren und zu steuern. Jede Website, die Cloudflare nutzt, kann entscheiden, welche KI-Bots Zugang erhalten und welche blockiert werden. Auf diese Weise kann man zum Beispiel Bots von KI-Tools zulassen, in denen die verwendeten Quellen genannt und verlinkt werden, während man anderen Bots den Zugang verwehrt.
Innerhalb des AI Tabs in Cloudflare stehen erweiterte Analysedaten zur Verfügung - etwa zu den Zugriffen auf verschiedene Seitenbereiche durch KI-Bots. Diese Daten können zum Beispiel in Verhandlungen mit KI-Tool-Anbietern genutzt werden. Cloudflare erstellt außerdem automatisch Nutzungsbedingungen, die jeder Website-Betreiber zu seinem Angebot hinzufügen kann, um die eigenen Rechte zu schützen.
Eine "nahtlose Preisgestaltung und Transaktionssteuerung" sollen es außerdem den Anbietern von KI-Modellen ermöglichen, neue Inhalte zu finden, während Content Provider die Kontrolle über ihre Inhalte behalten und dafür bezahlt werden.
Bestehende Nutzer von Cloudflare können das AI Tab seit dem 23. September über ihr Dashboard erreichen. Für alle anderen steht eine Warteliste bereit.
