El mes pasado, el director ejecutivo de Anthropic, Dario Amodei, pidió a las empresas de IA de frontera que reduzcan el ritmo e incorporen evaluadores externos a sus operaciones. La empresa también firmó el Acuerdo de la Casa Blanca sobre la Superinteligencia, sumándose a otros grandes grupos tecnológicos en su compromiso de trabajar con auditores independientes.¹

El jueves, Anthropic cumplió ese compromiso al incorporar a seis investigadores de la organización sin fines de lucro Model Evaluation and Threat Research, o METR, a sus oficinas. El equipo cuenta con hardware de la empresa, espacio de trabajo y acceso a herramientas internas «más o menos equiparable» al del propio personal de evaluación de riesgos de Anthropic.¹ Anthropic afirma que el objetivo es cerrar la brecha de información entre las empresas que desarrollan modelos potentes y los externos a quienes se pide evaluar sus riesgos.

El argumento del laboratorio es sencillo: los modelos más potentes requieren un escrutinio más profundo, pero divulgar cada detalle del entrenamiento, la computación y las salvaguardas podría ayudar a actores maliciosos o revelar información comercialmente sensible. Compara el acuerdo con los examinadores residentes instalados en grandes bancos para detectar una toma de riesgos peligrosa antes de que perjudique al público.¹

Sin embargo, METR no es simplemente un equipo interno con una nueva insignia. Anthropic afirma que no puede vetar los informes del grupo sobre niveles de riesgo, incidentes y prácticas. Solo puede exigir censuras para categorías definidas, incluidos datos de clientes, material protegido por el secreto profesional entre abogado y cliente y detalles de la arquitectura del modelo; METR puede declarar públicamente si considera justificadas esas censuras.¹

Esa salvedad define la tensión en torno al experimento. La cobertura del anuncio señaló la preocupación de los críticos de que los acuerdos con evaluadores pueden generar conflictos de intereses y quedar por debajo de la regulación gubernamental.² Anthropic afirma que no financia a METR, cuyo trabajo cuenta con respaldo de fuentes filantrópicas y gubernamentales, una estructura destinada a proteger su independencia.²

La empresa también está desarrollando un sistema de tres niveles. SecureBio, que revisa los riesgos de armas químicas y biológicas, cuenta actualmente con un acceso y derechos de publicación más limitados de primer nivel, mientras que solo METR ocupa el nivel superior. Anthropic sigue conversando sobre asociaciones con organizaciones como Hugging Face y trabaja para lograr un acuerdo más amplio con Accenture.³ El resultado es un modelo voluntario de supervisión con un acceso sin precedentes, pero cuya verdadera credibilidad dependerá de lo que METR pueda publicar.