John Müller von Google rät von zusätzlichen Content-Direktiven in der robots.txt ab, die zur Steuerung von KI-Bots verwendet werden sollen.
Wie kann man die Zugriffe von KI-Bots auf die Inhalte von Webseiten besser steuern? Dazu hatte der CDN-Anbieter Cloudflare gerade neue Vorschläge erarbeitet.
Wir bringen gemeinsam Ihre Website nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.
Ein Vorschlag ist eine neue Direktive für die robots.txt mit dem Namen "content-signal": Hier kann man angeben, zu welchem Zweck ein Bot Inhalte verwenden darf. Optionen sind "search", "ai-train" und "reference", also für die Suche, das Trainieren von KI-Modellen und zur Wiedergabe der Inhalte, auch komplett.
John Müller von Google hat nun davon abgeraten, solche Anweisungen in die robots.txt aufzunehmen. Auf Reddit schrieb er, kein LLM oder Crawler verwende seines Wissens das "content-signal". Das füge nur unnötigen Ballast zur robots.txt hinzu und erschwere die Verwaltung. Crawler würden nur die Direktiven verwenden, die sie auch berücksichtigen:
Cloudflare versucht, den Betreibern von Websites mehr Möglichkeiten zu geben, was die Steuerung von KI-Bots und die Verwendung ihrer Inhalte angeht. Google dagegen ist selbst Nutznießer der Daten. So ist es verständlich, wenn Google von solchen Möglichkeiten nicht begeistert ist.
Premium-Partner (Anzeige)
Anzeigen
