Il mese scorso, tra crescenti preoccupazioni per sistemi di IA sempre più capaci e richieste di controlli esterni più rigorosi, Anthropic si è impegnata a rafforzare le valutazioni di terze parti e ha firmato l'Accordo della Casa Bianca sulla Super Intelligenza. L'azienda ha sostenuto che la responsabilità pubblica richiede un esame indipendente, ma ha affermato di non poter divulgare ogni dettaglio sulla sicurezza perché alcuni materiali potrebbero aiutare attori malintenzionati o rivelare informazioni commercialmente sensibili.¹

Giovedì, Anthropic ha trasformato quell'impegno in un esperimento concreto: sei dipendenti dell'organizzazione non profit Model Evaluation and Threat Research, o METR, hanno ricevuto hardware aziendale, spazi d'ufficio e accesso agli strumenti interni «all'incirca alla pari» con i team di Anthropic che valutano i rischi.¹ L'azienda afferma che il personale dovrebbe condividere informazioni con i ricercatori integrati più o meno come farebbe con un dipendente che lavora sul rischio di allineamento.

Secondo Anthropic, questo va più in profondità di un audit convenzionale. Tracciando un paragone con gli esaminatori bancari residenti, sostiene che l'obiettivo sia ridurre il divario informativo tra uno sviluppatore di IA di frontiera e coloro che ne valutano i rischi. METR valuterà i livelli di rischio, gli incidenti e le pratiche dell'azienda, quindi pubblicherà la propria analisi.¹

Tuttavia, l'indipendenza offerta ha confini chiari. Anthropic non può porre il veto alla pubblicazione, ma può richiedere omissioni riguardanti dati dei clienti, informazioni coperte dal privilegio avvocato-cliente e architetture dei modelli. METR può dichiarare pubblicamente se ritiene giustificata un'omissione, a condizione di non rivelare ciò che è stato rimosso.² Ciò rende l'accordo insolitamente trasparente per gli standard del settore, ma non del tutto libero dal controllo dell'azienda.

Il team di METR è attualmente l'unico nel livello più alto di valutatori di Anthropic. SecureBio, che esamina la sezione sulle armi chimiche e biologiche del rapporto sui rischi di Anthropic di agosto, dispone di un accesso di primo livello più limitato e necessita di approvazione per pubblicare; Anthropic sta inoltre perseguendo partnership con Accenture, Faculty e potenzialmente Hugging Face.¹

Anthropic definisce il programma volontario e afferma che ogni azienda di IA di frontiera dovrebbe seguirne l'esempio. Per ora, è un test per verificare se un valutatore possa guardare sufficientemente sotto il cofano mentre l'azienda esaminata conserva ancora la chiave delle omissioni.¹