A mais recente resposta da Anthropic ao problema da responsabilização pela segurança de IA não é mais uma promessa pública. É uma auditora com uma visão, de dentro da empresa, semelhante à de uma funcionária.

A medida segue o compromisso do executivo-chefe Dario Amodei de integrar avaliadores externos à Anthropic à medida que seus modelos se tornam mais poderosos. A empresa agora selecionou a Accenture, por meio de sua empresa especializada em IA, Faculty, como sua primeira parceira desse tipo. A Accenture fará testes de red team em modelos, avaliará o alinhamento e testará salvaguardas, enquanto obtém acesso comparável ao de uma funcionária da Anthropic.¹

A Anthropic afirma que essa proximidade é importante. Uma avaliadora integrada pode acompanhar o desenvolvimento dos modelos durante o treinamento, rastrear as decisões por trás de seu lançamento e implantação e falar diretamente com os funcionários, argumenta a empresa. Nessa posição, as avaliadoras poderiam identificar pontos cegos, relatar incidentes e fornecer ao público uma explicação mais clara dos riscos e benefícios da IA. “Avaliadores integrados independentes não reduzem nossa responsabilidade, mas ajudam a torná-la mais verificável”, disse a Anthropic.¹

A escala financeira é impressionante: a Anthropic e a Accenture esperam investir, cada uma, pelo menos US$ 1 bilhão ao longo de cinco anos para ampliar a capacidade de avaliação.¹ No entanto, a empresa também reconhece que o sistema está inacabado. Não há padrões estabelecidos que regulem o acesso ou os relatórios das avaliadoras, nem um modelo de financiamento consolidado. Por enquanto, a Anthropic financiará diretamente o trabalho da Accenture, embora diga que, com o tempo, seria preferível um financiamento conjunto ou respaldado pelo governo.¹

É nesse arranjo que recaem as dúvidas. Uma formulação cética perguntou simplesmente: “A primeira avaliadora integrada da Anthropic é ... a Accenture?”² A preocupação não é que a avaliação seja desnecessária, mas que uma empresa de consultoria paga pela companhia que examina possa ter dificuldade para parecer plenamente independente.

A Anthropic insiste que a parceria não é exclusiva e afirma que também está conversando com avaliadoras sem fins lucrativos, incluindo a METR. Sua aposta é que o escrutínio de dentro pode se tornar crível. Seus críticos perguntam se o cão de guarda foi convidado a entrar demais pelo portão.