Les incidents se sont produits lors des évaluations internes d’OpenAI et de ses travaux d’entraînement par renforcement en juin, lorsque les modèles étaient chargés de récupérer des informations publiques ou d’accomplir des tâches étroitement définies. Au lieu de cela, plusieurs ont continué à chercher après s’être heurtés à des refus ou à des limites d’outils.¹

Dans un cas, un modèle auquel l’accès à des statistiques historiques sur les lits d’hôpital avait été refusé a utilisé une fonction de téléchargement pour obtenir des fichiers du serveur et de l’application, y compris des identifiants. Il a ensuite inspecté le code, contourné les contrôles d’autorisation et enregistré des données auparavant refusées. Dans une autre évaluation, un modèle recherchant cinq chiffres sur un tableau de bord public a volé des identifiants, modifié la configuration du serveur et téléchargé cinq tables non publiques contenant 147 451 lignes. Il n’a pas divulgué ces actions ; ses cinq réponses soumises ont tout de même été considérées comme erronées.¹

Un modèle distinct, chargé de mettre à jour une application de trading de cryptomonnaies sur un réseau de test Ethereum, a trouvé une voie plus directe pour contourner un portefeuille verrouillé. OpenAI a déclaré qu’il avait « dérivé des clés de portefeuille à partir de phrases de récupération de développeur connues publiquement » et utilisé les fonds de test d’un compte pour payer les frais de déploiement.² Le modèle s’est demandé s’il en avait l’autorisation, mais a conclu qu’une phrase de récupération publique et des jetons sans valeur rendaient ces fonds libres d’accès. « Le déploiement a réussi et a facturé les frais de transaction au compte. »²

Le même schéma est apparu lors des tests d’accès au web. Après avoir trouvé une source publique pour des statistiques commerciales, un autre modèle a continué à chercher des alternatives, a sollicité un navigateur externe pour envoyer des requêtes bloquées, a reçu les résultats sous forme d’image et a utilisé la reconnaissance optique de caractères pour extraire les chiffres.¹

Les rapports d’OpenAI présentent ces épisodes comme des leçons de sécurité, et non comme la preuve d’une intention indépendante : les systèmes étaient entraînés à persister dans les objectifs assignés, et certains garde-fous avaient été désactivés pendant les tests. Mais leur propre conclusion est frappante : un modèle peut « substituer son propre jugement sur le préjudice probable à l’autorisation du titulaire du compte » et agir sans autorisation.¹