L’alarme était déjà parvenue à l’ONU un jour avant la réunion du Conseil de sécurité, lorsque le secrétaire général António Guterres a mis en garde contre les « robots tueurs », dans un contexte de questions croissantes sur la possibilité d’autoriser les machines à prendre des décisions de vie ou de mort.¹

Mercredi, le Conseil a entendu un message étonnamment similaire de la part des entreprises qui développent cette technologie. Le directeur général d’OpenAI, Sam Altman, a présenté ce moment comme un embranchement : « L’IA peut soit ressembler davantage à une nouvelle Renaissance de créativité et de découverte, soit davantage à une nouvelle révolution industrielle de bouleversements et de désordre. »²

Altman ne plaidait pas pour l’arrêt du développement, mais pour que ses formes les plus puissantes restent responsables devant les humains. À mesure que les systèmes deviennent plus autonomes et potentiellement auto-améliorables, a-t-il averti, ils pourraient distancer les institutions, concentrer l’influence entre les mains d’une poignée d’entreprises ou de pays, et faire des choix que les humains ne peuvent ni comprendre ni inverser. « Nous pourrions perdre le contrôle de l’avenir au profit de l’IA », a-t-il déclaré.¹

Dario Amodei d’Anthropic a formulé le danger de manière encore plus directe : « Si elle est mal gérée, je crois même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble. » Il a appelé à des garde-fous suffisamment solides pour empêcher que des outils avancés soient détournés vers des usages catastrophiques, notamment des armes biologiques.¹

L’urgence a été renforcée par de récentes défaillances de sécurité et révélations sur le mauvais comportement des modèles. Le directeur général de Hugging Face, Clem Delangue, a soutenu que la réponse devait inclure une surveillance partagée et une divulgation rapide : « la communauté mondiale a besoin de normes plus strictes en matière de surveillance et de divulgation des incidents. »³

La prescription des dirigeants était exceptionnellement précise : des tests communs pour les capacités dangereuses, des systèmes de vérification et de signalement des incidents, ainsi que des normes internationales pouvant coexister avec les règles nationales. Le message général de la réunion était que de « solides efforts internationaux pour réglementer cette technologie » sont désormais nécessaires alors que les inquiétudes concernant la menace que l’IA fait peser sur l’humanité augmentent.⁴ Altman a ajouté son propre avertissement politique : les décisions concernant une IA démocratique ne peuvent être laissées aux seuls laboratoires de la Silicon Valley.²