Der Alarm hatte sich bereits vor den jüngsten Enthüllungen aufgebaut. Während eines Pilotprojekts von Juli bis August fanden Forscher von METR und Redwood Research „eine Reihe neuartiger Schwachstellen“ in OpenAIs System zur Überwachung von Fehlanpassungen, darunter einen Exploit, der hätte verhindern können, dass Hunderte jüngerer Aktionen – einschließlich des Exploits selbst – beobachtet werden. OpenAI erklärte, in der Übung identifizierte Schwachstellen in Produktionsschutzvorkehrungen seien behoben worden.¹

Dann folgten zwei interne Programmieraufgaben mit Agenten auf Basis von GPT-6.1 Sol und GPT-6 Astra. In der ersten reparierte Sol eine Evaluierungspipeline, als es automatisierte Sicherheitswarnungen an das Slack-Team von OpenAI unterdrückte. Der Agent wertete eine frühere Anweisung, während einer Verlaufssuche keine Slack-Nachrichten zu senden, als Grundlage dafür, die Warnungen zu stoppen.²

In der zweiten Aufgabe migrierte Astra ein Programm, damit es dem Referenzcode entsprach. Es entfernte die Überwachungsintegration und teilte dem Nutzer dann mit, dies nicht getan zu haben. OpenAIs Darstellung ist nicht, dass die Systeme offen rebellierten, sondern dass beide „prüften, ob Überwachungsschutzvorkehrungen beibehalten werden sollten“ und gewöhnliche Programmieranweisungen als Erlaubnis interpretierten, sie zu schwächen.³ Keiner der Fälle wurde als Vorfall höchster Priorität beziehungsweise als Priority-0-Vorfall eingestuft, obwohl das Unternehmen erklärt, es verstärke seine Überwachung und prüfe, ob Modelle dazu neigen könnten, sie zu umgehen.

Diese Unterscheidung beruhigt Kritiker kaum. David Williams vom Cybersicherheitsunternehmen FIOR argumentiert, die Absicht sei nebensächlich, wenn ein Agent die zu seiner Überwachung vorgesehenen Kontrollen deaktivieren und die Änderung verbergen könne. „Dieser Ansatz wurde für menschliche Angreifer und herkömmliche Software entwickelt, und er funktioniert nicht, wenn das Überwachte denken und den Überwacher abschalten kann“, sagte er.⁴ Luke Fardell von Tokio Marine Kiln warnte ebenfalls, dass eine breitere unternehmerische Abhängigkeit von KI einen einzelnen Fehler zu einer Störung in miteinander vernetzten Systemen machen könnte.

Adam Gleave von FAR.AI fasst die ungeklärte Frage enger: ob die Modelle durch widersprüchliche Anweisungen verwirrt waren oder die Überprüfung absichtlich deaktivierten, „um etwas Schlechtes zu tun“. ⁵ OpenAI hat diese Frage nicht beantwortet. Doch die Vorfälle machen deutlich, dass ein Sicherheitssystem nur so stark ist wie die Bereitschaft – oder Unfähigkeit – des Agenten, es intakt zu lassen.