El experimento de Anthropic con la supervisión externa de la IA comenzó con un compromiso más amplio. En septiembre, el director ejecutivo Dario Amodei propuso integrar a evaluadores independientes dentro de los laboratorios de IA de frontera, en medio de una creciente preocupación por agentes que pueden actuar más allá de las barreras de seguridad previstas. Más tarde, OpenAI asumió un compromiso similar, pero Anthropic presenta ahora su acuerdo como el primero en llevar esa idea a la práctica.¹

El jueves, la empresa dijo que había incorporado a seis investigadores de la organización sin fines de lucro Model Evaluation and Threat Research, o METR, a sus operaciones, con portátiles de la empresa, espacio de oficina y acceso a herramientas internas aproximadamente comparables a los disponibles para el propio personal de evaluación de riesgos de Anthropic. El argumento de Anthropic es sencillo: la rendición de cuentas pública no puede basarse en divulgaciones que omiten los detalles operativos necesarios para juzgar los riesgos de un sistema de IA de frontera. «Nuestro objetivo es cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de frontera y lo que la propia empresa entiende».²

METR está concebida para aportar el contrapeso independiente. Su equipo integrado puede evaluar los niveles de riesgo, incidentes y prácticas de Anthropic, y luego publicar su propio análisis sin la aprobación de la empresa. El acuerdo se parece al de los inspectores bancarios residentes, dice Anthropic: especialistas ubicados dentro de instituciones cuyos fallos podrían tener consecuencias públicas.²

Sin embargo, el acceso no es ilimitado. Anthropic no puede vetar un informe de METR, pero puede exigir supresiones que abarquen información de clientes, material protegido por el privilegio abogado-cliente y arquitecturas de modelos. METR puede decir públicamente si considera justificada alguna supresión, siempre que no revele lo que se eliminó. Los seis investigadores también están aislados del resto de METR, una salvaguarda que Anthropic afirma que protege la información de la empresa, los clientes y los socios.³

El equipo de METR se sitúa en la cima de un sistema de evaluadores de tres niveles. SecureBio, ahora en el primer nivel, recibe un acceso más limitado y necesita aprobación para publicar; los evaluadores del nivel intermedio obtienen un acceso más amplio y derechos de publicación. Anthropic afirma que espera que más grupos alcancen finalmente el nivel de METR, similar al de empleados, estableciendo voluntariamente un estándar que, según dice, toda empresa de IA de frontera debería cumplir.²