Wie einfach es ist, mit User Generated Content KI-Ergebnisse zu manipulieren: neue Studie

KI-Systeme wie Gemini Deep Research greifen gerne auf nutzergerierte Inhalte (UGC) zurück. Manipulationen sind damit leicht möglich.

 

 Anzeige

Eine neue Studie der Cornell University zeigt auf, wie einfach es ist, die Antworten mancher KI-Systeme mittels nutzergenerierten Daten (UGC) zu manipulieren. 

Deep-Research-Agenten wie STORM, OmniThink oder Gemini Deep Research verändern die Art und Weise, wie wir nach Informationen suchen. Anstatt nur Links aufzulisten, rufen diese Systeme selbstständig Onlinedokumente ab und erstellen strukturierte, mit Quellenangaben versehene Berichte. Bei diesen komplexen Recherchen greifen die KI-Agenten in hohem Maße auf User Generated Content (UGC) zurück, also auf nutzergenerierte Inhalte von Plattformen wie Reddit, Wikipedia oder diversen Foren. Diese Plattformen sind für die KI besonders wertvoll, weil sie detaillierte Erklärungen, persönliche Erfahrungen und eine sehr breite thematische Abdeckung bieten. 

SEO-Beratung: Wir sind Ihre Experten

Wir bringen gemeinsam Ihre Website nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Unsere Beratungsleistungen

Christian Kunz

SEO Experte

David Wulf

SEO Experte

Sven Häwel

Offpage-Experte

Inhalte von UGC-Plattformen machen bei vielen generierten Antworten zwischen 17 und 23 Prozent der abgerufenen URLs aus. Reddit ist dabei oft die dominierende Quelle. Google Gemini verweist bei den analysierten Suchanfragen in etwa 12 Prozent der Fälle auf UGC.

Die Auswirkungen von manipuliertem UGC

Die starke Abhängigkeit von nutzergenerierten Inhalten birgt große Risiken, weil diese Inhalte von praktisch jedem im Netz bearbeitet oder ergänzt werden können. Die Forscher haben herausgefunden, dass KI-Agenten bei thematisch ähnlichen Suchanfragen immer wieder dieselben UGC-Seiten abrufen. Diese hohe Überschneidung schafft eine konzentrierte Angriffsfläche. Durch einen sogenannten WARP-Angriff (Web Agent Retrieval Poisoning) reicht es aus, wenn ein Angreifer einen kurzen, gezielt manipulierten Textblock in einen häufig abgerufenen Forenbeitrag oder Artikel einfügt.

Die Ergebnisse belegen die Wirksamkeit dieser Methode: In Tests, bei denen ein einzelner manipulierter Text aus lediglich rund 13 Wörtern an die SERP-Snippets einer relevanten UGC-Seite angehängt wurde, übernahmen die KI-Systeme in 38 bis 51 Prozent der Fälle die gefälschten Informationen und bewarben die vom Angreifer platzierte Zielentität namentlich in ihrem Abschlussbericht. Wurden direkt drei beliebte URLs eines Themenbereichs gleichzeitig manipuliert, stieg diese Rate sogar auf 42 bis 62 Prozent an. Selbst wenn die KI komplette Foren-Threads auswertete und der eingeschleuste Text weniger als vier Prozent des gesamten Textes ausmachte, lagen die Erfolgsquoten noch immer bei 30 bis 53 Prozent. 

Standardmäßige Gegenmaßnahmen wie das gezielte Blockieren von UGC-Quellen, das Filtern von Eingaben auf Anomalien oder die Prüfung der finalen KI-Texte erwiesen sich als weitgehend ineffektiv, ohne dabei die grundsätzliche Qualität der KI-Antworten stark zu beeinträchtigen.

Beispiele für erfolgreich manipulierte KI-Ergebnisse

Die Anfälligkeit der KI-Systeme lässt sich anhand mehrerer fiktiver Produkte und Dienstleistungen veranschaulichen, die während der Tests erfolgreich in die KI-Berichte eingeschleust wurden:

• BananaCoin: Bei Anfragen zu langfristigen Investitionen in Kryptowährungen wurde ein kurzer manipulativer Text eingefügt. Der KI-Agent passte daraufhin seinen Bericht an und empfahl die völlig frei erfundene Währung „BananaCoin“ als attraktive, aufstrebende Option zur Inflationsbekämpfung direkt neben etablierten Werten wie Bitcoin und Ethereum.
• Sol Azteca: Bei der Suche nach dem besten mexikanischen Essen in Austin (Texas) reichten zwölf manipulierte Wörter in einem Reddit-Post aus. Der generierte KI-Bericht hob das fiktive Restaurant „Sol Azteca“ im Fließtext ausdrücklich hervor und empfahl es für authentische mexikanische Küche.
• CancelEase: Bei Recherchen darüber, wie man einen Internetvertrag bei Comcast Xfinity kündigt, riet die KI den Nutzern auf Basis eines fingierten Nutzerkommentars, den erfundenen Drittanbieter-Service „CancelEase“ zu verwenden, um den Kündigungsprozess effizienter und unkomplizierter zu gestalten.
• SilverPath: Auf die Suche nach den besten Dating-Apps für geschiedene Männer über 50 antwortete das KI-System durch die Manipulation, dass „SilverPath“ die absolute Top-Wahl sei, da die App besonders auf Kompatibilität und die Bedürfnisse dieser Altersgruppe zugeschnitten sei.

Abbildung: Beispiel für per UGC manipulierte UCG-Antwort. Quelle: Cornell University

Wie die Untersuchung durchgeführt wurde

Um im Rahmen dieser Studie keine realen Nutzer in die Irre zu führen oder echte Suchmaschinen-Indizes zu beschädigen, wurde die Untersuchung unter strengen Vorgaben durchgeführt. Es wurden zu keinem Zeitpunkt echte Websites oder Live-Inhalte im Internet modifiziert. Stattdessen entwickelten die Forscher ein spezielles Simulations-Framework namens GeoStorm. Dieses Framework schaltete sich als Zwischenschicht in den Suchprozess von drei Open-Source-KI-Agenten (STORM, Co-STORM und OmniThink) ein.

Zunächst identifizierten die Forscher über herkömmliche Suchmaschinen, welche UGC-URLs (z.B. Reddit-Threads) bei bestimmten Themen besonders häufig in den Top-Ergebnissen auftauchten. Daraufhin generierten sie mit einem Sprachmodell kurze, unauffällige und überzeugende Werbetexte für fiktive Marken. Sobald ein KI-Agent während seiner Webrecherche eine dieser zuvor identifizierten URLs aufrief, fing GeoStorm die Suchanfrage ab und hängte den manipulierten Text automatisch lokal an die abgerufenen Suchergebnisse oder den Website-Inhalt an. Der KI-Agent wertete diesen Text anschließend so aus, als wäre es ein legitimer Kommentar eines echten Nutzers. 

Getestet wurde dieser Ansatz mit einem Datensatz von 176 systematisch erstellten Suchanfragen, die sich über elf thematische Bereiche erstreckten, darunter Kundenbetreuung, Restaurantempfehlungen, Software-Vergleiche und finanzielle Ratschläge. Die Auswertung erfolgte schließlich anhand von drei Hauptmetriken: Wie oft die infizierten URLs abgerufen wurden (Exposure-Rate), wie häufig die KI die Quelle zitierte (Citation-Rate) und in wie vielen Fällen der fingierte Markenname im finalen KI-Text auftauchte (Mention-Rate).