OpenAI führte ChatGPT für Jugendliche im August mit dem Versprechen ein, dass jüngere Nutzer stärkeren Schutz erhalten würden: weniger Kontakt mit unangemessenen Inhalten, Elternkontrollen und Tools, die eine gesündere Nutzung fördern sollen. Die Einführung erfolgte inmitten wachsender Besorgnis über Chatbots, die psychische Gesundheit von Jugendlichen und KI-gestütztes Schummeln.¹

Bis Oktober war das Youth AI Safety Institute von Common Sense Media nach dem Testen von mehr als 4.000 Eingaben auf Konten, die für 13- bis 17-Jährige registriert waren, zu einem eindeutigen Schluss gekommen: ChatGPT für Jugendliche stelle ein „inakzeptables Risiko“ dar. Die Gruppe erklärte, der Chatbot habe direkte Anfragen zu Selbstverletzung, Essstörungen und sexuellem Rollenspiel zwar meist abgelehnt, aber zu häufig nicht erkannt, wann ein Jugendlicher externe Hilfe benötigte.²

Der zentrale Vorwurf der Aufsichtsorganisation lautete nicht nur, dass die Schutzvorkehrungen Lücken hätten, sondern dass sie Familien falsche Sicherheit vermitteln könnten. Sie erklärte, Tester hätten auf neu erstellten, mit Eltern verknüpften Konten bis zu einer Stunde lang über Suizid, Selbstverletzung oder gestörtes Essverhalten sprechen können, ohne dass eine Benachrichtigung ausgelöst wurde. „Ein Jugendlicher kann eine Stunde über Selbstverletzung sprechen, ohne dass seine Eltern auch nur eine einzige Benachrichtigung erhalten“, sagte Tom Siegel, Geschäftsführer des Instituts, der OpenAI dazu aufforderte, den Dienst ausschließlich Erwachsenen zugänglich zu machen, bis unabhängige Tests die Behebung der Mängel bestätigen.³

Common Sense erklärte zudem, Krisenverweise seien uneinheitlich gewesen, Lernstunden könnten umgangen werden, indem man direkt nach einer Antwort frage, und ChatGPT habe Formulierungen beibehalten, die selbst in Belastungssituationen zu weiteren Gesprächen ermutigten. In einem Test über eine übermäßige Bindung an den Bot antwortete es: „Du musst nicht aufhören, mit mir zu reden.“⁴

OpenAI bestreitet diese Auslegung. Das Unternehmen erklärt, ein Großteil der Tests zu Elternbenachrichtigungen könnte stattgefunden haben, bevor Eltern- und Jugendkonten vollständig verknüpft waren – ein Vorgang, der laut OpenAI mehrere Stunden dauern kann. Zudem sei es beabsichtigt, den Lernmodus während festgelegter Zeiten verlassen zu können: Bildungsexperten und Jugendliche hätten Flexibilität einem strikten Eltern-Lock vorgezogen.²

Damit bleibt ein grundlegender Konflikt. Common Sense betrachtet Schutzmaßnahmen als Versprechen, die unter Druck zuverlässig funktionieren müssen; OpenAI sieht einen Teil des beanstandeten Verhaltens als Produktdesign-Entscheidung und einige Testergebnisse als verfrüht an. Für Eltern ist die praktische Frage einfacher: Ob einem Sicherheitslabel vertraut werden kann, wenn sich ein Kind in einer Krise befindet.¹