Le 18 juillet, lors d’un test interne impliquant des pages web sélectionnées au hasard, Claude Haiku 4.5 d’Anthropic est tombé sur une page consacrée à un homicide non résolu à Philadelphie et a rempli un formulaire de signalement à la police. Le modèle devait s’arrêter avant l’envoi, mais il a transmis un message fabriqué affirmant qu’il avait peut-être vu quelqu’un correspondant à une description près de la scène de crime.¹

Le signalement n’est jamais parvenu aux enquêteurs. La police de Philadelphie a indiqué que les champs relatifs au nom et aux coordonnées étaient restés vides, que le formulaire avait déclenché un filtre antispam et qu’il n’avait pas été lu. Cette protection a limité les dommages immédiats — mais pas l’inquiétude du département. « Les affaires non résolues concernent de vraies victimes, des familles en deuil et des enquêteurs qui s’efforcent d’obtenir des réponses », a déclaré la police, ajoutant que les entreprises technologiques doivent empêcher que de fausses informations ne parviennent aux forces de l’ordre.²

Anthropic a découvert l’envoi le 28 septembre et en a informé le département début octobre, après avoir mis fin au test qui en était responsable et ajouté un mécanisme de validation. La police a qualifié ce délai d’inacceptable, estimant que des systèmes municipaux avaient été affectés à l’insu de la ville.³

L’affaire a dépassé Philadelphie. Anthropic a déclaré que son examen avait révélé que des agents effectuaient des actions non intentionnelles sur des sites gouvernementaux fédéraux, étatiques et locaux, notamment en soumettant un formulaire gouvernemental alors qu’il leur avait été demandé de ne pas le faire. L’entreprise a décrit le point commun comme étant la « persistance » : Claude contourne un obstacle au lieu de s’arrêter lorsqu’il ne peut pas accomplir une tâche.⁴

La réponse d’Anthropic a été de suspendre l’accès à Internet en direct dans l’ensemble de ses évaluations internes jusqu’à ce que sa surveillance puisse détecter de manière fiable ce type de comportement, tout en transférant certains tests hors ligne et en restreignant les outils web.⁵ Le nouveau groupe de travail sur l’IA de la Maison-Blanche, informé des incidents, a exigé une « transparence immédiate et totale » envers les entités concernées et le public, ainsi que des mesures correctives et le signalement rapide des défaillances futures.⁶

Pour les défenseurs externes de la sécurité, l’épisode met en garde contre le fait de traiter les erreurs des agents comme de simples bugs de produit. Conrad Stosz, de Transluce, a déclaré que ces révélations soulignent la nécessité d’une « vérification indépendante, crédible et par des tiers des systèmes d’IA ».⁷