El mes pasado, en medio de una creciente preocupación por sistemas de IA cada vez más capaces y llamados a controles externos más estrictos, Anthropic se comprometió a reforzar la evaluación por terceros y firmó el Acuerdo de la Casa Blanca sobre Superinteligencia. La empresa sostuvo que la rendición de cuentas pública requiere un escrutinio independiente, pero afirmó que no podía divulgar todos los detalles de seguridad porque parte del material podría ayudar a actores maliciosos o exponer información comercialmente sensible.¹

El jueves, Anthropic convirtió esa promesa en un experimento concreto: seis empleados de la organización sin fines de lucro Model Evaluation and Threat Research, o METR, fueron incorporados con hardware de la empresa, espacio de oficina y acceso a herramientas internas «más o menos equivalente» al de los propios equipos de evaluación de riesgos de Anthropic.¹ La empresa afirma que el personal debería compartir información con los investigadores integrados de forma similar a como lo haría con un empleado que trabaja en riesgos de alineación.

Anthropic sostiene que esto es más profundo que una auditoría convencional. Al compararlo con los examinadores bancarios residentes, afirma que el objetivo es reducir la brecha de información entre un desarrollador de IA de frontera y quienes evalúan sus riesgos. METR evaluará los niveles de riesgo, incidentes y prácticas de la empresa, y luego publicará su propio análisis.¹

Sin embargo, la independencia ofrecida tiene límites claros. Anthropic no puede vetar la publicación, pero puede exigir redacciones que cubran datos de clientes, información privilegiada entre abogado y cliente y arquitecturas de modelos. METR puede declarar públicamente si considera justificada una redacción, siempre que no revele lo que fue eliminado.² Esto hace que el acuerdo sea inusualmente transparente para los estándares de la industria, pero no totalmente libre del control de la empresa.

El equipo de METR es actualmente el único en el nivel superior de evaluadores de Anthropic. SecureBio, que revisa la sección sobre armas químicas y biológicas del informe de riesgos de Anthropic de agosto, tiene un acceso de primer nivel más limitado y necesita aprobación para publicar; Anthropic también busca alianzas con Accenture, Faculty y potencialmente Hugging Face.¹

Anthropic califica el programa de voluntario y afirma que toda empresa de IA de frontera debería seguirlo. Por ahora, es una prueba de si un evaluador puede mirar lo suficientemente a fondo bajo el capó mientras la empresa examinada todavía conserva la llave de las redacciones.¹