A experiência da Anthropic com supervisão externa de IA começou com uma promessa mais ampla. Em setembro, o diretor-executivo Dario Amodei propôs incorporar avaliadores independentes aos laboratórios de IA de fronteira, em meio à crescente preocupação com agentes que podem agir além das salvaguardas pretendidas. A OpenAI assumiu posteriormente um compromisso semelhante, mas a Anthropic agora apresenta seu acordo como o primeiro a colocar essa ideia em prática.¹

Na quinta-feira, a empresa disse que incorporou seis pesquisadores da organização sem fins lucrativos Model Evaluation and Threat Research, ou METR, às suas operações, com laptops da empresa, espaço de escritório e acesso a ferramentas internas aproximadamente comparáveis aos disponíveis para a própria equipe de avaliação de riscos da Anthropic. O argumento da Anthropic é direto: a responsabilização pública não pode se basear em divulgações que omitem os detalhes operacionais necessários para avaliar os riscos de um sistema de fronteira. “Nosso objetivo é fechar a lacuna entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de fronteira e o que a própria empresa entende.”²

A METR deve fornecer o contrapeso independente. Sua equipe incorporada pode avaliar os níveis de risco, incidentes e práticas da Anthropic e, em seguida, publicar sua própria análise sem a aprovação da empresa. O acordo se assemelha a examinadores bancários residentes, afirma a Anthropic: especialistas instalados dentro de instituições cujas falhas poderiam ter consequências públicas.²

Ainda assim, o acesso não é ilimitado. A Anthropic não pode vetar um relatório da METR, mas pode exigir redações que abranjam informações de clientes, material protegido pelo sigilo advogado-cliente e arquiteturas de modelos. A METR pode dizer publicamente se considera justificada qualquer redação, desde que não revele o que foi removido. Os seis pesquisadores também são isolados do restante da METR, uma salvaguarda que, segundo a Anthropic, protege informações da empresa, de clientes e de parceiros.³

A equipe da METR está no topo de um sistema de avaliadores de três níveis. A SecureBio, agora no primeiro nível, recebe acesso mais restrito e precisa de aprovação para publicar; os avaliadores do nível intermediário obtêm acesso mais amplo e direitos de publicação. A Anthropic diz esperar que mais grupos alcancem futuramente o nível semelhante ao de funcionários da METR — estabelecendo voluntariamente um padrão que, segundo ela, toda empresa de IA de fronteira deveria cumprir.²