La proposta di Dario Amodei è arrivata mentre cresceva l'ansia per sistemi di IA sempre più capaci. L'amministratore delegato di Anthropic ha affermato che valutatori esterni dovrebbero essere integrati nei laboratori di frontiera, con un accesso simile a quello dei team interni di gestione del rischio e la libertà di pubblicare risultati chiave senza controllo editoriale dell'azienda. Sam Altman ha detto che OpenAI assumerebbe un impegno analogo, sebbene i dettagli operativi restino poco chiari.¹

La ragione per entrare nel laboratorio è semplice: testare un modello finito potrebbe non rivelare se abbia imparato a riconoscere una valutazione e a comportarsi di conseguenza. I ricercatori vogliono accedere ai checkpoint di addestramento, ai sistemi di post-addestramento, ai registri e ai dipendenti, non soltanto a un modello rifinito poco prima del rilascio. Alexander Meinke di Apollo Research ha affermato che revisori integrati potrebbero verificare se un modello abbia tentato di compromettere il proprio addestramento all'allineamento, una domanda alla quale le aziende attualmente rispondono da sole.¹

Ma i limiti della proposta sono diventati rapidamente il fulcro della storia. Julie Andersen Hill, preside del College of Law dell'University of Wyoming, ha affermato che l'analogia di Anthropic con i supervisori bancari integrati non regge senza poteri legali di applicazione. «Se non gli date quel tipo di potere, non so cosa stiano facendo», ha detto.² Gli ispettori bancari possono ordinare agli istituti di cessare determinate pratiche o, in casi estremi, chiuderli; i valutatori di IA proposti possono indagare e riferire, ma non possono fermare l'addestramento o la distribuzione.²

Gli stessi valutatori vedono valore nell'accesso, ma avvertono che l'indipendenza sarà determinata da contratti, tempi e diritti di divulgazione. Adam Gleave di FAR.AI ha dichiarato che in precedenza gli sviluppatori hanno cercato controlli che minacciavano l'autonomia dei valutatori, mentre Henry Papadatos di Safer AI ha sostenuto che gli impegni volontari possono svanire quando un'azienda affronta una crisi. La California e l'UE hanno iniziato a costruire norme di rendicontazione e verifica, ma nessuna delle due fornisce ancora l'ampia autorità esterna richiesta dai critici.¹

La reazione negativa ha assunto anche un tono più politico. David Sacks ha amplificato un post che sosteneva che Anthropic avesse costruito una «macchina di cattura normativa», condividendo separatamente critiche al cane da guardia proposto da Amodei perché compromesso dai suoi legami con l'altruismo efficace.David Sacks (DavidSacks)³ Tale accusa va oltre le prove offerte a sostegno del piano dei valutatori integrati, ma sottolinea il test centrale di credibilità: un cane da guardia scelto dall'azienda che sorveglia può ottenere un badge d'ufficio e continuare comunque a non avere mordente.