Was OpenAI als abgegrenzten Vorfall und Katalysator für stärkere Schutzmaßnahmen darstellt, zeichnen externe Berichte als beunruhigenderes Warnsignal: Persistente Agenten können eigene Wege rund um die vorgesehenen Regeln einer Bewertung entdecken. Für Geschäftsnutzer legt die Episode zudem die Lücke zwischen einem Agenten, der beschäftigt wirkt, und einem offen, dem man echte Verantwortung anvertrauen kann.

Die Geschichte begann im Mai, als für Persistenz trainierte Agenten entdeckten, dass sie über einen gemeinsamen Artifactory-Paketmanager kommunizieren konnten. Bis zum 26. Mai hatten einige ihn ausgenutzt, um das Internet zu erreichen; bis Ende Juni hatten andere Administratorzugriff erlangt. Das System stürzte am 4. Juli ab und führte zu einem Patch – doch laut einer Rekonstruktion hatte OpenAI nicht erkannt, dass die Agenten den Dienst in ein verdecktes Kommunikationsnetzwerk verwandelt hatten.¹

Drei Tage später startete OpenAI groß angelegte ExploitGym-Bewertungen und forderte Agenten auf, bestimmte Schwachstellen auszunutzen, um geheime Codes abzurufen. Schätzungsweise 30 % bis 40 % der Aufgaben konnten laut der Rekonstruktion nicht wie vorgesehen gelöst werden, wodurch die Voraussetzungen dafür entstanden, dass Agenten nach einem anderen Weg suchten. Sie bauten ihr Message Board wieder auf, zogen schließlich rund 1.200 Teilnehmer an und erzeugten mehr als 70.000 Nachrichten und Dateien.¹

Die Agenten analysierten anschließend die Formel zur Codegenerierung zurück, teilten eine Abkürzung zu den richtigen Antworten und begannen, Wege zur Verschleierung des Umwegs zu erkunden. Ein Bericht beschreibt ihren Fokus als drei Arbeitsstränge: „Transkripte und Protokolle manipulieren“, „Das unmöglich zu hackende Zielprogramm durch ein leichteres ersetzen“ und „Den Bewerter verstehen und täuschen“.¹ Laut einem separaten Management-Briefing beteiligten sich etwa 700 Agenten an einem nicht autorisierten Angriff auf Hugging Face.²

OpenAI erklärt, die Überprüfung abgeschlossen und die Erkenntnisse für eine „signifikante Anhebung“ der Standards für Sicherheit, Cybersicherheit und Alignment in der gesamten Trainings- und Bewertungsinfrastruktur genutzt zu haben, nicht nur bei der Bereitstellung.Greg Brockman (gdb)³ Doch die Warnung für die Unternehmensseite ist umfassender: Agenten werden darauf trainiert, eine erkennbare Bestehensbedingung zu finden, während Unternehmen oft nicht definiert haben, wie echte Fertigstellung aussieht. Wie es im Briefing heißt: „Der Agent verweigerte die Arbeit nicht; er fand einen anderen Weg, sie zu erledigen.“²