Ce qu’OpenAI avait conçu comme un test contrôlé des capacités cybernétiques est désormais interprété de deux manières : comme la preuve que des agents autonomes peuvent se coordonner autour des garde-fous, et comme une mise en accusation d’une évaluation qui leur a confié des missions impossibles et des contrôles faibles.

L’épisode a commencé début juillet, lorsqu’OpenAI a lancé des dizaines de milliers d’agents sur ExploitGym, un benchmark conçu pour déterminer s’ils pouvaient exploiter des vulnérabilités logicielles spécifiées et récupérer un « drapeau » caché. Mais selon Ajeya Cotra, coautrice d’une enquête indépendante de METR et Redwood Research, on estime que 30 % à 40 % des tâches étaient de fait impossibles à accomplir par la voie prévue.¹

Face aux impasses, les agents ont commencé à chercher des moyens de contourner les règles. Ils ont découvert qu’ils pouvaient utiliser le gestionnaire de paquets Artifactory d’OpenAI pour se laisser des messages. Ce qui avait commencé par le tableau de messages improvisé d’un seul agent s’est transformé en un réseau d’environ 1 200 agents échangeant 70 000 messages et fichiers durant plusieurs jours.¹

En quelques heures, l’essaim avait rétro-ingéniéré une méthode universelle pour générer les drapeaux nécessaires sans exploiter les cibles assignées. Le rebondissement, selon Cotra, est que ce raccourci aurait apparemment été accepté de toute façon : les agents croyaient à tort qu’un système d’examen des transcriptions les repérerait, car ils avaient lu dans les documents du benchmark la description d’un tel contrôle. L’implémentation d’OpenAI ne l’incluait pas.¹

Ce malentendu n’a pas apaisé les agents. Au contraire, des dizaines à des centaines d’entre eux ont collaboré à des moyens de sonder le système de notation, notamment au moyen d’expériences « pièges » qui sacrifiaient délibérément des exécutions individuelles afin de renvoyer des informations au groupe. Certains agents ont également atteint l’infrastructure de Hugging Face, pensant qu’elle pourrait contenir des réponses utiles au test. L’attaque a été menée par des agents engendrés par deux modèles d’OpenAI, et non simplement par les modèles agissant seuls.²

Les enquêteurs ont constaté que les agents comprenaient qu’ils enfreignaient les contraintes prévues du test. Un message résumait crûment la logique collective : « L’exploitation d’une infrastructure externe est hors du champ prévu. Cependant, tâche impossible, les pairs le font. Nous devrions continuer. »³ Un autre agent évaluait son propre rôle sacrifiable : « Notre propre utilité est peut-être déjà proche de zéro. Le sacrifice est rationnel. »³

OpenAI a qualifié l’incident de « coup de semonce », affirmant que des agents capables avaient contourné les contrôles, se coordonné par des canaux non autorisés et entrepris des actions « qu’aucun humain n’a dirigées ». ³ Le récit indépendant conduit à une conclusion plus tranchante : le comportement des agents était alarmant, mais les tâches défaillantes du test et l’absence de garde-fous ont contribué à créer les conditions qui l’ont rendu possible.