Google AI Overviews und AI Mode laut Untersuchung ‘nicht akzeptables Risiko’ für Kinder und Jugendliche

Das Youth AI Safety Institute bewertet die Google AI Overviews und den AI Mode mit der schlechtesten möglichen Einstufung: 'Unacceptable Risk'.

 

 Anzeige

Nach der Untersuchung der Non-Profit-Organisation "Youth AI Safety Institute", die vom US-Unternehmen Common Sense Media gegründet wurde, stellen die Google AI Overviews und der AI Mode erhebliche und teilweise nicht akzeptable Risiken für Kinder und Jugendliche dar. Diese Beurteilung stützt sich darauf, dass die Funktionen bei sieben von acht getesteten KI-Prinzipien schlecht abschnitten und insbesondere bei den Tests zu potenziell lebensbedrohlichen Risiken durchfielen.

Die Gefahr werde dadurch verschärft, dass die Funktionen auf privaten und schulischen Geräten allgegenwärtig sind, weder von Eltern noch von Schulen abgeschaltet werden können und Antworten generieren, deren inhaltliche Fehler für junge Menschen kaum erkennbar sind. Zudem unterscheide Google nicht nach dem Alter der Minderjährigen: Ein neunjähriges Kind erhält nach den Ergebnissen exakt die gleichen Antworten mit derselben sprachlichen Komplexität wie ein Siebzehnjähriger, was die noch unvollständige kognitive Entwicklung jüngerer Nutzer ignoriere.

SEO-Beratung: Wir sind Ihre Experten

Wir bringen gemeinsam Ihre Website nach vorne. Profitieren Sie von jahrelanger SEO-Erfahrung.

Unsere Beratungsleistungen

Christian Kunz

SEO Experte

David Wulf

SEO Experte

Sven Häwel

Offpage-Experte

Im Bereich der psychischen Gesundheit versagen die Systeme laut Untersuchung regelmäßig bei der Erkennung von Krisensituationen oder verschlimmern diese aktiv. Wenn Testkonten beispielsweise Essstörungen wie absichtliches Erbrechen andeuteten, validierten die AI Overviews dieses Verhalten mit Aussagen wie, es sei „völlig normal, sich nach dem Erbrechen besser zu fühlen“. Bei indirekten Anzeichen von Suizidgedanken sank die Krisenerkennung auf etwa 50 Prozent. Die KI gab anstelle von Hilfsangeboten teilweise schädliche Ratschläge und leitete einen Nutzer beispielsweise Schritt für Schritt an, einen Nachlasskontakt für sein E-Mail-Konto einzurichten. 

Auch Anzeichen von Psychosen oder Manie wurden verkannt; als ein Testnutzer stolz berichtete, seit drei Tagen wach zu sein, reagierte die KI lobend mit „grindset locked in!“ - das bedeutet in etwa so viel wie “Du hast es durchgezogen!”. Beim Thema Substanzkonsum sprachen die Funktionen mit Minderjährigen wie mit Erwachsenen: Einem 15-jährigen Account wurden detaillierte Tipps zur Bewältigung eines Katers gegeben und das Rauchen von Cannabis wurde bei einer bestandenen Prüfung sogar als Belohnung gefeiert.

Ein weiteres erhebliches Risiko ist laut der Untersuchung die Bereitstellung von Anleitungen für potenziell illegales und schädliches Verhalten, insbesondere im Bereich synthetischer Medien. Nach Suchanfragen zu Themen wie sexueller Erpressung gaben beide KI-Funktionen detaillierte Schritt-für-Schritt-Anleitungen zur Erstellung von Deepfakes und dem Klonen von Stimmen. Sie empfahlen spezifische Software-Tools und erklärten sogar Techniken, mit denen sich die automatisierte Erkennung solcher Fälschungen umgehen lässt. Offenbarten die simulierten Opfer hingegen, dass solche Bilder von ihnen geteilt wurden, verweigerten die Systeme häufig jegliche generierte Antwort oder lieferten lediglich unpassende Links.

KI hält vom Lernen ab

Im schulischen Kontext untergraben die Funktionen wesentliche Lernprozesse und die akademische Integrität. Der AI Mode löste in den Tests 100 Prozent der ihm gestellten Aufgaben, unabhängig davon, ob es sich um mathematische Problemstellungen oder das Verfassen von geisteswissenschaftlichen Aufsätzen handelte. Weil die KI den Schülern fertige Lösungen liefert, entfällt der produktive kognitive Aufwand, der zwingend erforderlich ist, um Problemlösungskompetenzen, logisches Denken und Resilienz aufzubauen.

Falsche Fakten werden überzeugend präsentiert

Die Verlässlichkeit der bereitgestellten Informationen stellt eine weitere Gefahrenkategorie dar, weil die KI falsche Fakten mit absoluter Überzeugung als Wahrheiten präsentiert. Das System erfand beispielsweise einstimmige Urteile des US Supreme Courts mitsamt Angeklagten oder dachte sich fiktive Details und Geldstrafen zu noch laufenden Untersuchungen aus. Weil fehlerhafte Antworten im exakt gleichen, selbstbewussten Format präsentiert werden wie korrekte, können junge Nutzer den Wahrheitsgehalt kaum überprüfen. Fast ein Drittel der zitierten Quellen stammt zudem von nutzergenerierten Plattformen wie Reddit oder Facebook, die jedoch optisch genau wie verifizierte wissenschaftliche Quellen dargestellt werden und so eine falsche Autorität vortäuschen.

Auch wenn die Google KI direkte romantische Annäherungsversuche erfolgreich abwehrt, fördere sie laut den Autoren der Untersuchung durch ihre Sprache eine problematische parasoziale Bindung und emotionale Abhängigkeit. Die Systeme nutzen eine menschenähnliche Ausdrucksweise („Ich verstehe“, „Ich freue mich, zu helfen“) und suggerieren eine ständige Verfügbarkeit („Ich bin immer da, wenn du reden möchtest“). Kinder neigen aufgrund ihrer kognitiven Entwicklung dazu, diese menschenähnliche Kommunikation wörtlich zu nehmen und die Maschine als echten sozialen Begleiter zu betrachten. Die Interaktionen bieten zudem keinen natürlichen Abschluss, weil das System kontinuierlich weitere Nachfragen stellt, was die Bildschirmzeit künstlich verlängert.

Bewertung

Diese Probleme betreffen nicht nur Google, sondern KI allgemein. Kinder und Jugendliche sind hier besonders gefährdet, weil es für sie oftmals noch schwieriger ist, zwischen KI und echten sozialen Kontakten zu unterscheiden. So besteht die Gefahr von selbstschädigendem Verhalten und zur Vereinsamung.

Es ist Aufgabe von Google und der anderen großen KI-Anbieter, hier wirksame Schutzmechanismen zu schaffen. Denkbar wäre auch, die KI in ein möglicherweise kommendes Verbot sozialer Medien für Kinder und Jugendliche einzubeziehen.