No mês passado, o CEO da Anthropic, Dario Amodei, pediu que empresas de IA de fronteira desacelerassem e trouxessem avaliadores externos para dentro de suas operações. A empresa também assinou o Acordo da Casa Branca sobre Superinteligência, juntando-se a outros grandes grupos de tecnologia no compromisso de trabalhar com auditores independentes.¹

Na quinta-feira, a Anthropic cumpriu esse compromisso ao levar seis pesquisadores da organização sem fins lucrativos Model Evaluation and Threat Research, ou METR, para seus escritórios. A equipe tem hardware da empresa, espaço de trabalho e acesso a ferramentas internas “aproximadamente no mesmo nível” do pessoal da própria Anthropic responsável pela avaliação de riscos.¹ A Anthropic afirma que o objetivo é reduzir a lacuna de informação entre as empresas que desenvolvem modelos poderosos e os externos encarregados de avaliar seus riscos.

O argumento do laboratório é direto: modelos mais poderosos exigem escrutínio mais profundo, mas divulgar todos os detalhes sobre treinamento, computação e salvaguardas poderia ajudar agentes maliciosos ou revelar informações comercialmente sensíveis. A empresa compara o arranjo a examinadores residentes alocados em grandes bancos para identificar tomada de risco perigosa antes que ela prejudique o público.¹

A METR, contudo, não é simplesmente uma equipe interna com um novo crachá. A Anthropic diz que não pode vetar os relatórios do grupo sobre níveis de risco, incidentes e práticas. Ela pode exigir redações apenas para categorias definidas, incluindo dados de clientes, material protegido pela confidencialidade entre advogado e cliente e detalhes da arquitetura do modelo; a METR pode dizer publicamente se acredita que essas redações foram justificadas.¹

Essa ressalva define a tensão em torno do experimento. A cobertura do anúncio observou a preocupação dos críticos de que arranjos com avaliadores possam criar conflitos de interesse e ficar aquém da regulamentação governamental.² A Anthropic afirma que não financia a METR, cujo trabalho é apoiado por fontes filantrópicas e governamentais, uma estrutura destinada a proteger sua independência.²

A empresa também está construindo um sistema de três níveis. A SecureBio, que analisa riscos relacionados a armas químicas e biológicas, atualmente tem acesso e direitos de publicação mais restritos, de primeiro nível, enquanto apenas a METR ocupa o nível mais alto. A Anthropic ainda está discutindo parcerias com organizações como a Hugging Face e trabalhando para chegar a um arranjo mais amplo com a Accenture.³ O resultado é um modelo voluntário de supervisão com acesso sem precedentes — mas cuja credibilidade real dependerá do que a METR conseguirá publicar.