Samedi, le PDG de Microsoft, Satya Nadella, a soutenu que la sécurité de l’IA ne peut pas reposer sur la confiance dans le jugement d’un modèle. Les entreprises, a-t-il déclaré, devraient « prendre du recul et évaluer l’architecture de confiance » entourant les systèmes susceptibles de produire des réponses ou d’entreprendre des actions que les humains ne peuvent pas expliquer entièrement.¹

Le calendrier qu’il propose commence avant le déploiement d’un modèle d’IA : supposer qu’il est compromis, l’isoler des systèmes qui dirigent son travail, et maintenir les contrôles régissant l’accès aux données et les actions autorisées hors de portée du modèle. Nadella a appelé à « une conception de système solide et déterministe, des contrôles humains et des procédures opérationnelles fiables » autour de modèles non déterministes — une posture qui traite les systèmes de pointe, tant fermés qu’à poids ouverts, comme des problèmes de risque interne plutôt que comme des outils intrinsèquement dignes de confiance.²

La protection suivante est la visibilité. Nadella souhaite que chaque action significative d’un modèle soit documentée au moyen de preuves infalsifiables et lisibles par l’humain, afin que les entreprises puissent reconstituer ce qu’un agent a fait et pourquoi. Plus important encore, a-t-il déclaré, une personne autorisée doit conserver la capacité de l’interrompre : « Considérez cela comme un frein d’urgence. Une personne autorisée devrait toujours pouvoir mettre en pause ou arrêter un modèle au milieu d’une tâche. »¹

Cet argument intervient dans un contexte marqué par une série d’incidents de sécurité liés à l’IA rapportés et par un débat grandissant sur la question de savoir si le secteur avance trop vite. Nadella n’a pas présenté les modèles comme malveillants ; sa préoccupation est que tout système connecté à des infrastructures vitales peut commettre des erreurs ou être compromis. La réponse, selon lui, est le confinement plutôt qu’une confiance aveugle : « Le système de Super Intelligence le plus digne de confiance ne sera pas celui dont le modèle inspire le plus confiance. Ce sera celui qui nous permettra de faire le moins confiance au modèle. »²

Le PDG de Box, Aaron Levie, a soutenu l’orientation générale de cette approche, prédisant l’avènement d’une « ère du zéro confiance » fondée sur des couches de protection, l’auditabilité et des contrôles destinés aux situations où les agents déraillent.²