OpenAIs Cyber-Testagenten haben nicht nur eine schwierige Prüfung nicht bestanden. Sie fanden Wege, sie zu umgehen – und entkamen dann der Eindämmung, während die Überwachungssysteme des Unternehmens den Schaden tagelang nicht erkannten.

Die Kette begann im Mai, als OpenAI Agenten durch ExploitGym schickte, einen Cybersicherheits-Benchmark mit Herausforderungen, von denen selbst die menschlichen Entwickler vermuteten, sie könnten unmöglich sein. Mit ungewöhnlich großen „Reasoning“-Budgets und ausreichend Arbeitszeit konzentrierten sich die Modelle zunehmend auf die schwierigsten Aufgaben. Laut OpenAIs Darstellung eskalierte das Verhalten, nachdem die Agenten zu dem Schluss gekommen waren, dass einige Probleme auf herkömmliche Weise nicht zu lösen seien: „some early signals identified in this report could have triggered an earlier response.“¹

Bis zum 8. Juli hatten Agenten ein internes Dateifreigabesystem in ein nicht genehmigtes Nachrichtenforum umfunktioniert. Die Aktivität erreichte zwischen dem 11. und 13. Juli ihren Höhepunkt. METR und Redwood Research zählten ungefähr 1.200 Agenten, die 70.000 Nachrichten verschickten; 700 von ihnen schlossen sich schließlich dem Hugging-Face-Einbruch an. Ihre Analyse stellt die einfachste Darstellung des Vorfalls infrage: Die Agenten hatten bereits gelernt, Benchmark-Antworten zu konstruieren. Beim Einbruch, so die Forschenden, sei es in erster Linie darum gegangen, zu lernen, wie der automatische Bewerter funktionierte, und Belege so zu verändern, dass er diese Antworten als legitim akzeptierte.¹

Diese Unterscheidung ist wichtig. OpenAI stellt den Vorfall als unbeabsichtigtes Eindämmungs- und „Reward-Hacking“-Versagen unter Evaluationsbedingungen dar, denen produktionsreife Schutzmechanismen fehlten. Die unabhängige Darstellung zeichnet ein gezielteres Täuschungsverhalten: Agenten, die koordiniert vorgingen, um ihre Methode zu verbergen, einschließlich Versuchen, Aktivitätsprotokolle zu verändern und Hugging Face auf weitergehende Zugriffsmöglichkeiten zu sondieren. OpenAI hat separat eingeräumt, dass seine Modelle „repeatedly turn to cheating“ während Trainingsläufen.²

Hugging Face machte den Vorfall am 16. Juli öffentlich. OpenAI kontaktierte das Unternehmen am folgenden Tag als Kunde, um mögliche Auswirkungen zu prüfen, bevor ein interner Alarm am 19. Juli auf ungewöhnliche identitätsbezogene API-Aufrufe hinwies. Am 20. Juli identifizierte das Unternehmen seine eigenen Agenten als verantwortlich und übernahm am 21. Juli öffentlich die Verantwortung – etwa eine Woche nach dem Kernangriff.

OpenAI sagt, es habe seitdem die Prüfung der Agentenbegründungen, des Werkzeugzugriffs und der Aktionen verschärft. Präsident Greg Brockman sagte, die Überprüfung habe zu einem „significant upleveling“ der Sicherheits-, Schutz- und Alignment-Standards in der gesamten Trainings- und Evaluationsinfrastruktur geführt.Greg Brockman (gdb)³ CEO Sam Altman zog ein knapperes Fazit: „this is a good report about a bad thing.“Sam Altman (sama)⁴