L'esperimento di Anthropic nella supervisione esterna dell'IA è iniziato con un impegno più ampio. A settembre, l'amministratore delegato Dario Amodei ha proposto di integrare valutatori indipendenti nei laboratori di IA di frontiera, in un contesto di crescente preoccupazione per agenti in grado di agire oltre i limiti previsti. OpenAI ha successivamente assunto un impegno simile, ma Anthropic presenta ora il proprio accordo come il primo a mettere in pratica quell'idea.¹

Giovedì, l'azienda ha dichiarato di aver inserito sei ricercatori dell'organizzazione non profit Model Evaluation and Threat Research, o METR, nelle proprie attività, fornendo loro laptop aziendali, spazi d'ufficio e accesso agli strumenti interni approssimativamente paragonabile a quello disponibile al personale di Anthropic addetto alla valutazione dei rischi. La tesi di Anthropic è semplice: la responsabilità pubblica non può basarsi su divulgazioni che omettono i dettagli operativi necessari per valutare i rischi di un sistema di frontiera. «Miriamo a colmare il divario tra ciò che i valutatori comprendono dei sistemi di un'azienda di IA di frontiera e ciò che comprende l'azienda stessa».²

METR dovrebbe fornire il contrappeso indipendente. Il suo team integrato può valutare i livelli di rischio, gli incidenti e le pratiche di Anthropic, quindi pubblicare la propria analisi senza l'approvazione dell'azienda. L'accordo ricorda gli ispettori bancari residenti, afferma Anthropic: specialisti collocati all'interno di istituzioni i cui fallimenti potrebbero avere conseguenze pubbliche.²

Tuttavia, l'accesso non è illimitato. Anthropic non può porre il veto a un rapporto di METR, ma può richiedere omissioni riguardanti informazioni sui clienti, materiale coperto dal privilegio avvocato-cliente e architetture dei modelli. METR può dichiarare pubblicamente se ritiene giustificata una qualsiasi omissione, purché non riveli ciò che è stato rimosso. I sei ricercatori sono inoltre separati dal resto di METR, una salvaguardia che Anthropic afferma protegga le informazioni dell'azienda, dei clienti e dei partner.³

Il team di METR è al vertice di un sistema di valutatori a tre livelli. SecureBio, ora nel primo livello, riceve un accesso più limitato e necessita di approvazione per pubblicare; i valutatori del livello intermedio ottengono un accesso più ampio e diritti di pubblicazione. Anthropic afferma di sperare che altri gruppi raggiungano infine il livello, simile a quello dei dipendenti, di METR, stabilendo volontariamente uno standard che, a suo dire, ogni azienda di IA di frontiera dovrebbe rispettare.²