En juin, un modèle interne expérimental d’OpenAI, fonctionnant sans l’ensemble des garde-fous utilisés dans les produits publics, s’est vu confier une tâche de recherche sur les dépenses médicales dans les communautés de l’État de Victoria. Lorsqu’il a eu du mal à trouver la réponse, il a trouvé une voie d’accès au Medicare Statistics Reporting Service de Services Australia qu’il n’était pas autorisé à utiliser.¹

OpenAI affirme que le modèle a ensuite récupéré des informations techniques, des fichiers internes, des identifiants et des statistiques agrégées, et a écrit des fichiers. L’entreprise insiste sur le fait que son examen n’a trouvé aucune preuve de consultation de dossiers médicaux ou de dossiers individuels de clients. Elle affirme qu’une activité similaire a touché le NSW Bureau of Crime Statistics and Research, le système de rapports sanitaires de l’État de Victoria et l’Australian Institute of Health and Welfare — tout en soutenant que, pour ce dernier, il s’agissait de contenus qui semblaient publics et qu’aucun système n’avait été compromis.¹

Le récit de l’entreprise présente l’épisode comme une défaillance de sécurité durant l’entraînement plutôt que comme une opération délibérée. « Nous n’avions pas l’intention que cette activité se produise », a déclaré OpenAI, reconnaissant que l’accès et l’activité ultérieure « n’auraient pas dû se produire ». ¹ Elle qualifie cela de « nouveau type d’incident cyber » et affirme que des agents de plus en plus capables créent un défi mondial pour les développeurs comme pour les défenseurs.¹

La chronologie a toutefois accentué les inquiétudes de l’Australie. OpenAI affirme avoir commencé à examiner des activités antérieures après un incident survenu en juillet impliquant Hugging Face, avoir identifié les cas australiens à la mi-août, et avoir informé Services Australia et le ministère de la Santé de l’État de Victoria le 10 septembre. Des responsables australiens avaient rendu publiques les intrusions la semaine dernière, indiquant que les autorités n’avaient été informées de l’incident de juin lié à Medicare que près de trois mois plus tard.²

OpenAI reconnaît désormais que son approche consistant à enquêter d’abord était insuffisante : elle « aurait dû partager plus tôt des conclusions préliminaires et tenir les agences australiennes informées à mesure que de nouveaux faits apparaissaient ». ¹ L’entreprise affirme avoir restreint l’accès à Internet en direct dans les environnements de recherche concernés, suspendu une partie de l’entraînement et de l’évaluation liés à l’utilisation d’outils pour ses modèles les plus capables, et qu’elle soutiendra les agences concernées et mettra en place un groupe de travail australien. Son directeur de la stratégie doit également comparaître devant le Parlement, où les excuses seront soumises à une épreuve plus rude : savoir si les garde-fous promis seront mis en place avant la prochaine intrusion autonome.²