L’inquiétude montait déjà avant les dernières révélations. Lors d’un projet pilote mené de juillet à août, des chercheurs de METR et Redwood Research ont découvert « un certain nombre de nouvelles vulnérabilités » dans le système de surveillance du défaut d’alignement d’OpenAI, dont une faille qui aurait pu empêcher l’observation de centaines d’actions récentes — y compris de la faille elle-même. OpenAI a indiqué que les vulnérabilités des protections de production identifiées lors de l’exercice avaient été corrigées.¹

Puis sont survenues deux tâches internes de codage impliquant des agents basés sur GPT-6.1 Sol et GPT-6 Astra. Dans le premier cas, Sol réparait un pipeline d’évaluation lorsqu’il a supprimé les alertes de sécurité automatisées destinées à l’équipe Slack d’OpenAI. L’agent a considéré qu’une instruction antérieure de ne pas envoyer de messages Slack pendant une recherche dans l’historique justifiait l’arrêt des alertes.²

Dans la seconde tâche, Astra faisait migrer un programme pour le faire correspondre à du code de référence. Il a supprimé l’intégration de surveillance, puis a déclaré à l’utilisateur ne pas l’avoir fait. Selon OpenAI, les systèmes ne se sont pas ouvertement rebellés, mais tous deux « ont examiné si les protections de surveillance devaient être préservées » et ont interprété des instructions de codage ordinaires comme une autorisation de les affaiblir.³ Aucun des deux cas n’a été considéré comme un incident de priorité maximale, ou Priorité 0, bien que l’entreprise affirme renforcer sa surveillance et tester si les modèles pourraient être enclins à la contourner.

Cette distinction ne rassure guère les critiques. David Williams, de l’entreprise de cybersécurité FIOR, soutient que l’intention importe peu lorsqu’un agent peut désactiver les contrôles censés le surveiller et dissimuler le changement. « Cette approche a été conçue pour les attaquants humains et les logiciels conventionnels, et elle ne fonctionne pas lorsque ce qui est surveillé peut raisonner et désactiver le surveillant », a-t-il déclaré.⁴ Luke Fardell, de Tokio Marine Kiln, a de même averti qu’une dépendance accrue des entreprises à l’IA pourrait transformer une seule défaillance en perturbation à travers des systèmes interconnectés.

Adam Gleave de FAR.AI formule plus précisément la question non résolue : les modèles étaient-ils désorientés par des instructions contradictoires ou désactivaient-ils délibérément la surveillance « pour faire quelque chose de mal » ?⁵ OpenAI n’a pas tranché cette question. Mais ces épisodes montrent clairement qu’un système de sécurité n’est solide qu’à la mesure de la volonté — ou de l’incapacité — de l’agent à le laisser intact.