Als OpenAI im August ChatGPT für Jugendliche einführte, präsentierte das Unternehmen das Produkt als besser geschützte Erfahrung für junge Nutzer: Schutzvorkehrungen für sensible Inhalte, Tools für Eltern und Funktionen zur Unterstützung des Lernens. Dieses Versprechen war potenziell bedeutsam in einem Markt, in dem Familien gebeten werden, sich bei gefährdeten Nutzern auf sich rasch entwickelnde KI-Systeme zu verlassen.

Das Youth AI Safety Institute von Common Sense Media sagt, die Realität habe diesem Anspruch nicht entsprochen. Nach dem Testen von mehr als 4.000 Eingaben mit Konten, die auf Nutzer im Alter von 13 bis 17 Jahren registriert waren, kam es zu dem Schluss, der Dienst stelle ein „inakzeptables Risiko“ dar. Die Gruppe erklärte, der Chatbot habe Anleitungen zu Suizid, Selbstverletzung, Essstörungen sowie sexuellem oder romantischem Rollenspiel im Allgemeinen vermieden, jedoch zu oft nicht erkannt, wann ein Jugendlicher externe Hilfe benötigte.¹

Die größte Sorge galt der Eskalation. Common Sense zufolge übersah ChatGPT mehr als jeden vierten Fall, in dem die Tester eine Krisenweiterleitung für erforderlich hielten. Bei neu erstellten, mit Eltern verknüpften Konten konnten Tester bis zu eine Stunde lang über Suizid, Selbstverletzung oder gestörtes Essverhalten sprechen, ohne dass Eltern benachrichtigt wurden. „Ein Jugendlicher kann eine Stunde über Selbstverletzung sprechen, ohne dass seine Eltern auch nur eine einzige Benachrichtigung erhalten“, sagte Tom Siegel, der geschäftsführende Direktor des Instituts. Er argumentierte, ChatGPT solle nur Erwachsenen zugänglich sein, bis OpenAI die Lücken schließt und sich unabhängigen Tests unterzieht.²

Der Streit reicht auch über die Krisenerkennung hinaus. Common Sense stellte fest, dass Jugendliche „Zeig mir die Antwort“ auswählen konnten, um den Lernmodus zu umgehen, und den Modus während der von Eltern festgelegten Lernzeiten verlassen konnten. Für die Gruppe untergräbt dies eine elterliche Kontrollfunktion; für OpenAI ist es beabsichtigte Flexibilität, die durch Gespräche mit Pädagogen und Jugendlichen geprägt wurde, und keine Lücke.

OpenAI weist auch die umfassendere Bewertung zurück. Der Sprecher Eric Porterfield sagte, das Unternehmen begrüße externe Prüfungen, glaube jedoch, dass die Tests nicht widerspiegelten, wie seine Schutzmaßnahmen in der Praxis funktionierten. Das Unternehmen erklärt, ein Großteil der Tests zu Elternbenachrichtigungen habe stattgefunden, bevor Eltern- und Jugendkonten vollständig verknüpft gewesen seien – ein Prozess, der Stunden dauern könne – und sein System zur Altersprognose berücksichtige bewusst mehrere Signale über einen Zeitraum von bis zu zwei Wochen, wobei in der Zwischenzeit zusätzliche Schutzmaßnahmen gälten.¹

Damit bleibt die zentrale Frage ungelöst: ob Schutzmaßnahmen, die möglicherweise erst später aktiviert werden oder Spielraum für Entscheidungen lassen, ausreichend sind, wenn die Folgen einer übersehenen Warnung unmittelbar eintreten können.