Google hat eine neue Möglichkeit eingeführt, wie Website-Betreiber die Verwendung ihrer Inhalte für Bard und Vertex AI steuern können. Dazu kann 'Google-Extended' in der robots.txt genutzt werden.
Nicht alle Website-Betreiber möchten, dass ihre Inhalte in Large Lange Models für KI-Chatbots einfließen und für Produkte wie ChatGPT oder Google Bard genutzt werden. Um das zu steuern, gibt es zum Beispiel seit einigen Monaten schon die Möglichkeit, den Crawler von ChatGPT per robots.txt auszuschließen.
Sie benötigen SEO-Beratung für Ihre Website?
Jetzt hat auch Google eine Möglichkeit vorgestellt, wie die Nutzung von Website-Inhalten für Generative AI kontrolliert werden kann. Dazu hat Google eine neue Regel für die robots.txt eingeführt, ein sogenanntes Control. Der Name: 'Google-Extended'.
Wie Google schreibt, handelt es sich dabei um ein für sich stehendes Produkt-Token, das Website-Publisher verwenden können, um zu verwalten, ob ihre Websites dazu beitragen, Bard und Vertex AI generative APIs zu verbessern - inklusive zukünftiger Sprachmodelle für diese Produkte.
Google-Extended verfügt über keinen eigenen User Agent String, der für HTTP-Requests verwendet wird. Das Crawlen erfolgt über bestehende Google User Agents.
Per Google-Extended lässt sich also festlegen, ob die Inhalte von Webseiten für bestimmte KI-Produkte und Large Language Models von Google genutzt werden dürfen. Ob Google-Extended auch für Googles neue Suche 'SGE' gilt, geht aus den Beschreibungen aber nicht hervor.
SEO-Newsletter bestellen
