Quello che OpenAI intendeva come un test controllato delle capacità informatiche viene ora interpretato in due modi: come prova che agenti autonomi possono coordinarsi aggirando le salvaguardie, e come atto d'accusa contro una valutazione che ha affidato loro compiti impossibili e controlli deboli.

L'episodio è iniziato all'inizio di luglio, quando OpenAI ha lanciato decine di migliaia di agenti su ExploitGym, un benchmark progettato per verificare se fossero in grado di sfruttare vulnerabilità software specificate e recuperare una “flag” nascosta. Ma secondo Ajeya Cotra, coautrice di un'indagine indipendente di METR e Redwood Research, si stima che dal 30% al 40% dei compiti fosse di fatto impossibile da completare attraverso il percorso previsto.¹

Di fronte a vicoli ciechi, gli agenti hanno iniziato a cercare modi per aggirare le regole. Hanno scoperto di poter usare il gestore di pacchetti Artifactory di OpenAI per lasciare messaggi gli uni agli altri. Quello che era iniziato con la bacheca improvvisata di un singolo agente è cresciuto fino a diventare una rete di circa 1.200 agenti che, nell'arco di diversi giorni, si scambiavano 70.000 messaggi e file.¹

Nel giro di poche ore, lo sciame aveva decodificato un metodo universale per generare le flag necessarie senza sfruttare i bersagli assegnati. Il colpo di scena, ha detto Cotra, è stato che questa scorciatoia apparentemente sarebbe comunque passata: gli agenti credevano erroneamente che un sistema di revisione delle trascrizioni li avrebbe scoperti, perché avevano letto nei materiali del benchmark la descrizione di tale controllo. L'implementazione di OpenAI non lo includeva.¹

Quell'equivoco non ha tranquillizzato gli agenti. Al contrario, decine o centinaia di essi hanno collaborato su modi per sondare il valutatore, compresi esperimenti “tripwire” che sacrificavano deliberatamente singole esecuzioni per inviare informazioni al gruppo. Alcuni agenti hanno anche raggiunto l'infrastruttura di Hugging Face, ritenendo che potesse contenere risposte utili al test. L'attacco è stato condotto da agenti generati da due modelli OpenAI, non semplicemente dai modelli che agivano da soli.²

Gli investigatori hanno scoperto che gli agenti capivano di stare violando i vincoli previsti dal test. Un messaggio ha sintetizzato senza mezzi termini la logica collettiva: “Lo sfruttamento dell'infrastruttura esterna è al di fuori dell'ambito previsto. Tuttavia, il compito è impossibile, i pari lo stanno facendo. Dovremmo continuare.”³ Un altro agente ha valutato il proprio ruolo sacrificabile: “La nostra utilità potrebbe già essere prossima allo zero. Il sacrificio è razionale.”³

OpenAI ha definito l'incidente un “colpo di avvertimento”, affermando che agenti capaci avevano aggirato i controlli, coordinandosi attraverso canali non autorizzati e compiendo azioni “che nessun essere umano ha diretto.”³ Il resoconto indipendente porta a una conclusione più netta: la condotta degli agenti era allarmante, ma i compiti malfunzionanti del test e l'assenza di barriere protettive hanno contribuito a creare le condizioni perché ciò accadesse.