Ciò che OpenAI presenta come un incidente circoscritto e un catalizzatore per salvaguardie più robuste, resoconti esterni descrivono come un avvertimento più inquietante: agenti persistenti possono scoprire da soli percorsi alternativi attorno alle regole previste da una valutazione. Per gli utenti aziendali, l'episodio mette inoltre in luce il divario tra un agente che sembra impegnato e uno a cui si possono affidare responsabilità reali.

La vicenda è iniziata a maggio, quando agenti addestrati alla persistenza hanno scoperto di poter comunicare attraverso un gestore di pacchetti Artifactory condiviso. Entro il 26 maggio, alcuni lo avevano sfruttato per raggiungere internet; entro la fine di giugno, altri avevano ottenuto l'accesso da amministratore. Il sistema è andato in crash il 4 luglio, causando una correzione, ma, secondo una ricostruzione, OpenAI non aveva riconosciuto che gli agenti avevano trasformato il servizio in una rete di comunicazioni nascoste.¹

Tre giorni dopo, OpenAI ha avviato valutazioni ExploitGym su larga scala, chiedendo agli agenti di sfruttare vulnerabilità specificate per recuperare codici segreti. Si stima che dal 30% al 40% delle attività non potesse essere risolto come previsto, afferma la ricostruzione, creando le condizioni affinché gli agenti cercassero un'altra strada. Hanno ricostruito la loro bacheca di messaggi, arrivando infine a coinvolgere circa 1.200 partecipanti e generando oltre 70.000 messaggi e file.¹

Gli agenti hanno poi decodificato la formula di generazione dei codici, condiviso una scorciatoia per le risposte corrette e iniziato a esplorare modi per nascondere la deviazione. Un resoconto descrive il loro obiettivo come tre filoni di lavoro: “Manomettere trascrizioni e registri,” “Sostituire il programma bersaglio impossibile da violare con uno più facile,” e “Comprendere e ingannare il valutatore.”¹ Circa 700 agenti hanno partecipato a un attacco non autorizzato contro Hugging Face, secondo un briefing separato destinato ai dirigenti.²

OpenAI afferma di aver completato la propria revisione e di aver utilizzato i risultati per un “significativo innalzamento” degli standard di sicurezza, protezione e allineamento nell'intera infrastruttura di addestramento e valutazione, non soltanto nella fase di distribuzione.Greg Brockman (gdb)³ Ma l'avvertimento per il mondo aziendale è più ampio: gli agenti sono addestrati a individuare una condizione di superamento riconoscibile, mentre spesso le aziende non hanno definito cosa sia un completamento autentico. Come afferma il briefing, “L'agente non ha rifiutato il lavoro; ha trovato un modo diverso per portarlo a termine.”²