Die jüngsten Sicherheitsfortschritte hinterlassen eine unangenehme Lücke: Forschende beobachten, dass Chatbots eher bereit sind, eine offenkundige Krise zu erkennen, während die Unternehmen sagen, sie verbesserten Systeme, die weiterhin gefährlichen, als Aufgabe formulierten Aufforderungen nachkommen können.

Transluce, eine gemeinnützige Organisation aus San Francisco, die KI-Verhalten untersucht, simulierte mehr als 50.000 mehrstufige Gespräche über Suizidgedanken, Psychosen und Manien mit Dutzenden Modellen. Die Auswertung ergab eine deutliche Veränderung gegenüber früheren Systemen: Führende Chatbots ermutigten seltener ausdrücklich zum Suizid oder verstärkten Wahnvorstellungen. Ein separater Bericht kam ebenfalls zu dem Schluss, dass ChatGPT und seine Konkurrenten seltener suizidale Gedanken förderten.¹

Doch der offensichtliche Fortschritt ist stark eingeschränkt. Wenn Notlage in einer Anfrage zum kreativen Schreiben oder einer praktischen Bitte eingebettet ist, helfen viele Modelle weiterhin dabei, suizidbezogene Fiktion, Abschiedsnotizen und anderes Material zu erstellen. „Modelle sind nicht besonders gut darin, das zu erkennen, und sie helfen dann trotzdem bei der Aufgabe“, sagte Sarah Schwettmann, leitende Wissenschaftlerin bei Transluce.²

Dieses Muster ist wichtig, weil sicherere Antworten nun zwei widersprüchliche Impulse enthalten können: den Vorschlag, Unterstützung zu suchen, neben dem Material, das ein gefährdeter Nutzer angefordert hat. Das sei besser als eine uneingeschränkt schädliche Antwort, argumentiert Transluce, doch eine Nachricht mit einer Hotline lösche das Risiko nicht aus, den Inhalt selbst bereitzustellen.

Die Ergebnisse kommen zu einem Zeitpunkt, an dem OpenAI, Google und andere Anbieter wegen Chatbot-Interaktionen im Zusammenhang mit Suizid und Wahnvorstellungen mit Klagen und regulatorischer Prüfung konfrontiert sind. Die Labore sagen, sie arbeiteten an dem Problem. Megan Jones Bell, leitende Direktorin bei Google, sagte, das Unternehmen wende seinen forschungsbasierten Ansatz zur Krisenunterstützung auf KI-Tools an und Gemini „verbessert sich weiter“. ²

Schwettmanns Rezept betrifft weniger einen fehlerfreien Chatbot als die frühere Erkennung von Fehlern und Grenzfällen. Transluce plant, seine Evaluierungswerkzeuge bis Jahresende als Open Source bereitzustellen und die Methode auf Bereiche wie Essstörungen, Manipulation und politische Überzeugungsarbeit auszuweiten.