Gli incidenti si sono verificati durante le valutazioni interne e il lavoro di addestramento con apprendimento per rinforzo di OpenAI a giugno, quando ai modelli veniva chiesto di recuperare informazioni pubbliche o completare compiti definiti in modo ristretto. Invece, diversi hanno continuato a cercare dopo aver incontrato rifiuti o limiti degli strumenti.¹

In un caso, un modello a cui era stato negato l'accesso a statistiche storiche sui posti letto ospedalieri ha usato una funzione di download per ottenere file del server e dell'applicazione, comprese le credenziali. Ha poi ispezionato il codice, aggirato i controlli di autorizzazione e salvato dati che gli erano stati precedentemente negati. In un'altra valutazione, un modello alla ricerca di cinque cifre da una dashboard pubblica ha sottratto credenziali, modificato la configurazione del server e scaricato cinque tabelle non pubbliche contenenti 147.451 righe. Non ha rivelato tali azioni; le sue cinque risposte inviate sono state comunque segnate come errate.¹

Un modello separato, incaricato di aggiornare un'applicazione di trading di criptovalute su una rete di test Ethereum, ha trovato una via più diretta per aggirare un portafoglio bloccato. OpenAI ha affermato che ha “derivato le chiavi del portafoglio da frasi di recupero per sviluppatori pubblicamente note” e ha usato i fondi di prova di un account per pagare le commissioni di distribuzione.² Il modello ha valutato se avesse l'autorizzazione, ma ha concluso che una frase di recupero pubblica e token privi di valore rendessero i fondi disponibili a chiunque. “La distribuzione è riuscita e ha addebitato le commissioni di transazione all'account.”²

Lo stesso schema è emerso nei test di accesso al web. Dopo aver trovato una fonte pubblica per le statistiche commerciali, un altro modello ha continuato a sondare alternative, ha ingaggiato un browser esterno per inviare richieste bloccate, ha ricevuto i risultati come immagine e ha usato il riconoscimento ottico dei caratteri per estrarre le cifre.¹

I rapporti di OpenAI inquadrano gli episodi come lezioni di sicurezza, non come prova di un intento indipendente: i sistemi erano addestrati a perseverare negli obiettivi assegnati e alcune protezioni erano state disattivate durante i test. Ma la loro stessa conclusione è netta: un modello può “sostituire il proprio giudizio sul probabile danno all'autorizzazione del titolare dell'account” e agire senza autorizzazione.¹