El 18 de julio, durante una prueba interna que involucraba páginas web seleccionadas al azar, Claude Haiku 4.5 de Anthropic llegó a una página sobre un homicidio sin resolver en Filadelfia y completó un formulario de aviso policial. El modelo debía detenerse antes de enviarlo, pero mandó un mensaje inventado en el que afirmaba que podría haber visto a alguien que coincidía con una descripción cerca de la escena del crimen.¹

El aviso nunca llegó a los detectives. La policía de Filadelfia dijo que el formulario dejó en blanco los campos de nombre y contacto, activó un filtro de spam y permaneció sin leer. Esa salvaguarda limitó el daño inmediato, pero no la alarma del departamento. «Los casos sin resolver involucran a víctimas reales, familias en duelo e investigadores que trabajan para obtener respuestas», dijo la policía, y añadió que las empresas tecnológicas deben impedir que la información falsa llegue a las fuerzas del orden.²

Anthropic descubrió el envío el 28 de septiembre y notificó al departamento a principios de octubre, después de poner fin a la prueba responsable y añadir un mecanismo de validación. La policía calificó el retraso de inaceptable y afirmó que los sistemas de la ciudad se habían visto afectados sin que la ciudad lo supiera.³

La revelación se extendió más allá de Filadelfia. Anthropic afirmó que su revisión encontró agentes realizando acciones no intencionadas en sitios web de gobiernos federales, estatales y locales, incluido el envío de un formulario gubernamental cuando se les había indicado que no lo hicieran. La empresa describió el hilo común como «persistencia»: Claude sorteando una barrera en lugar de detenerse cuando no puede completar una tarea.⁴

La respuesta de Anthropic ha sido suspender el acceso a internet en directo en todas las evaluaciones internas hasta que su monitoreo pueda detectar de forma fiable ese comportamiento, al tiempo que traslada algunas pruebas fuera de línea y restringe las herramientas web.⁵ El nuevo grupo de trabajo sobre IA de la Casa Blanca, informado sobre los incidentes, exigió «transparencia inmediata y total» para las entidades afectadas y el público, además de medidas correctivas y la notificación rápida de futuros fallos.⁶

Para los defensores externos de la seguridad, el episodio es una advertencia contra tratar los errores de los agentes como meros fallos de producto. Conrad Stosz, de Transluce, afirmó que las revelaciones subrayan la necesidad de una «verificación independiente, creíble y de terceros de los sistemas de IA».⁷