Il mese scorso, l'amministratore delegato di Anthropic, Dario Amodei, ha invitato le aziende di IA di frontiera a rallentare e a far entrare valutatori esterni nelle proprie attività. L'azienda ha inoltre firmato l'Accordo della Casa Bianca sulla Superintelligenza, unendosi ad altri grandi gruppi tecnologici nell'impegno a collaborare con revisori indipendenti.¹

Giovedì, Anthropic ha mantenuto tale impegno portando sei ricercatori dell'organizzazione non profit Model Evaluation and Threat Research, o METR, nei propri uffici. Il team dispone di hardware aziendale, spazi di lavoro e accesso agli strumenti interni "all'incirca alla pari" con il personale di Anthropic addetto alla valutazione dei rischi.¹ Anthropic afferma che l'obiettivo è colmare il divario informativo tra le aziende che sviluppano modelli potenti e gli esterni chiamati a valutarne i rischi.

La tesi del laboratorio è semplice: modelli più potenti richiedono un esame più approfondito, ma divulgare ogni dettaglio su addestramento, capacità di calcolo e salvaguardie potrebbe aiutare attori malevoli o rivelare informazioni commercialmente sensibili. Confronta l'accordo con gli ispettori residenti collocati nelle principali banche per individuare assunzioni di rischio pericolose prima che danneggino il pubblico.¹

METR, tuttavia, non è semplicemente un team interno con un nuovo distintivo. Anthropic afferma di non poter porre il veto sui rapporti del gruppo relativi a livelli di rischio, incidenti e pratiche. Può richiedere omissioni solo per categorie definite, tra cui dati dei clienti, materiale coperto dal segreto professionale tra avvocato e cliente e dettagli dell'architettura dei modelli; METR può dichiarare pubblicamente se ritiene che tali omissioni fossero giustificate.¹

Questa riserva definisce la tensione attorno all'esperimento. La copertura dell'annuncio ha rilevato la preoccupazione dei critici secondo cui gli accordi con i valutatori possono creare conflitti di interesse e potrebbero non essere sufficienti rispetto alla regolamentazione governativa.² Anthropic afferma di non finanziare METR, il cui lavoro è sostenuto da fonti filantropiche e governative, una struttura pensata per proteggerne l'indipendenza.²

L'azienda sta inoltre costruendo un sistema a tre livelli. SecureBio, che esamina i rischi legati ad armi chimiche e biologiche, dispone attualmente di diritti di accesso e pubblicazione di primo livello più ristretti, mentre solo METR occupa il livello più alto. Anthropic sta ancora discutendo partnership con organizzazioni tra cui Hugging Face e lavorando verso un accordo più ampio con Accenture.³ Il risultato è un modello di supervisione volontaria con un accesso senza precedenti, ma la cui reale credibilità dipenderà da ciò che METR sarà in grado di pubblicare.