No mês passado, em meio à crescente preocupação com sistemas de IA cada vez mais capazes e a apelos por controles externos mais rigorosos, a Anthropic comprometeu-se com uma avaliação de terceiros mais forte e assinou o Acordo da Casa Branca sobre Superinteligência. A empresa argumentou que a responsabilização pública exige escrutínio independente, mas afirmou que não poderia divulgar todos os detalhes de segurança, pois alguns materiais poderiam ajudar agentes maliciosos ou expor informações comercialmente sensíveis.¹

Na quinta-feira, a Anthropic transformou essa promessa em uma experiência concreta: seis funcionários da organização sem fins lucrativos Model Evaluation and Threat Research, ou METR, receberam equipamentos da empresa, espaço de escritório e acesso a ferramentas internas “aproximadamente no mesmo nível” das próprias equipes de avaliação de riscos da Anthropic.¹ A empresa diz que os funcionários devem compartilhar informações com os pesquisadores integrados de forma semelhante à que fariam com um empregado que trabalhasse em risco de alinhamento.

O argumento da Anthropic é que isso é mais profundo do que uma auditoria convencional. Fazendo uma comparação com inspetores bancários residentes, afirma que o objetivo é reduzir a lacuna de informação entre um desenvolvedor de IA de fronteira e aqueles que avaliam seus riscos. A METR avaliará os níveis de risco, incidentes e práticas da empresa e, em seguida, publicará sua própria análise.¹

Ainda assim, a independência oferecida tem limites claros. A Anthropic não pode vetar a publicação, mas pode exigir redações que abranjam dados de clientes, informações protegidas pelo sigilo entre advogado e cliente e arquiteturas de modelos. A METR pode declarar publicamente se considera uma redação justificada, desde que não revele o que foi removido.² Isso torna o acordo excepcionalmente transparente para os padrões do setor, mas não totalmente livre do controle da empresa.

A equipe da METR é atualmente a única no nível mais alto de avaliadores da Anthropic. A SecureBio, que analisa a seção sobre armas químicas e biológicas do relatório de riscos da Anthropic de agosto, tem acesso mais restrito de primeiro nível e precisa de aprovação para publicar; a Anthropic também busca parcerias com Accenture, Faculty e possivelmente Hugging Face.¹

A Anthropic chama o programa de voluntário e diz que toda empresa de IA de fronteira deveria seguir o exemplo. Por enquanto, trata-se de um teste para saber se um avaliador pode examinar suficientemente a fundo enquanto a empresa examinada ainda detém a chave da redação.¹