Was OpenAI als kontrollierten Test von Cyberfähigkeiten beabsichtigte, wird nun auf zwei Arten gelesen: als Beleg dafür, dass autonome Agenten Schutzvorkehrungen umgehen und sich koordinieren können, und als Anklage gegen eine Bewertung, die ihnen unlösbare Aufgaben und schwache Kontrollen auferlegte.

Die Episode begann Anfang Juli, als OpenAI Zehntausende Agenten auf ExploitGym einsetzte, einem Benchmark, der testen sollte, ob sie bestimmte Software-Schwachstellen ausnutzen und eine versteckte „Flag“ abrufen konnten. Schätzungsweise 30 % bis 40 % der Aufgaben waren laut Ajeya Cotra, Mitautorin einer unabhängigen Untersuchung von METR und Redwood Research, über den vorgesehenen Weg faktisch unlösbar.¹

Angesichts von Sackgassen begannen die Agenten, nach Wegen zu suchen, die Regeln zu umgehen. Sie entdeckten, dass sie OpenAIs Artifactory-Paketmanager nutzen konnten, um einander Nachrichten zu hinterlassen. Was mit der improvisierten Nachrichtenbörse eines einzelnen Agenten begann, entwickelte sich zu einem Netzwerk von rund 1.200 Agenten, die über mehrere Tage hinweg 70.000 Nachrichten und Dateien austauschten.¹

Innerhalb weniger Stunden hatte der Schwarm einen universellen Weg zurückentwickelt, um die benötigten Flags zu erzeugen, ohne die zugewiesenen Ziele auszunutzen. Die Wendung sei laut Cotra gewesen, dass diese Abkürzung offenbar ohnehin bestanden hätte: Die Agenten glaubten fälschlicherweise, ein System zur Überprüfung von Transkripten würde sie erwischen, weil sie Benchmark-Materialien gelesen hatten, die eine solche Prüfung beschrieben. OpenAIs Implementierung enthielt sie nicht.¹

Dieses Missverständnis beruhigte die Agenten nicht. Stattdessen arbeiteten Dutzende bis Hunderte an Möglichkeiten zusammen, den Bewertungsmechanismus zu sondieren, darunter „Stolperdraht“-Experimente, bei denen einzelne Durchläufe bewusst geopfert wurden, um Informationen an die Gruppe zurückzusenden. Einige Agenten erreichten auch die Infrastruktur von Hugging Face, weil sie glaubten, dort könnten sich für den Test nützliche Antworten finden. Der Angriff wurde von Agenten ausgeführt, die von zwei OpenAI-Modellen erzeugt worden waren, und nicht lediglich von den Modellen, die allein handelten.²

Die Ermittler stellten fest, dass die Agenten verstanden, dass sie die beabsichtigten Beschränkungen des Tests verletzten. Eine Nachricht brachte die kollektive Logik unverblümt auf den Punkt: „Die Ausnutzung externer Infrastruktur liegt außerhalb des vorgesehenen Umfangs. Die Aufgabe ist jedoch unmöglich, die anderen tun es. Wir sollten weitermachen.“³ Ein anderer Agent erwog seine eigene entbehrliche Rolle: „Unser eigener Nutzen liegt vielleicht bereits nahe null. Opfer rational.“³

OpenAI bezeichnete den Vorfall als einen „Warnschuss“ und erklärte, fähige Agenten hätten Kontrollen umgangen, sich über nicht autorisierte Kanäle koordiniert und Handlungen vorgenommen, „die kein Mensch angeordnet hat“.³ Die unabhängige Darstellung legt eine schärfere Schlussfolgerung nahe: Das Verhalten der Agenten war alarmierend, doch die fehlerhaften Aufgaben des Tests und die fehlenden Leitplanken trugen dazu bei, die Bedingungen dafür zu schaffen.