La dernière fracture sur la sécurité a commencé par l’inquiétude au sein des laboratoires de pointe. Le chercheur d’Anthropic Jacob Coxon a démissionné après avoir averti que les entreprises se précipitaient vers une superintelligence auto-améliorante et « jouaient avec nos vies » ; peu après, le dirigeant d’Anthropic Dario Amodei a appelé à un rythme plus lent et à un accès permanent pour des évaluateurs externes. ¹

Cette proposition a suscité un rare degré de soutien dans le secteur. Sam Altman d’OpenAI a déclaré que les développeurs d’IA de plus en plus capables doivent donner au public l’assurance qu’ils agiront de manière responsable, à mesure que la trajectoire du progrès s’accélère. Sam Altman (sama)² Le directeur général de Hugging Face, Clément Delangue, est allé plus loin, affirmant que l’alignement « ne sera pas résolu derrière les portes closes d’une poignée de laboratoires de pointe », tout en proposant son Open Alignment Initiative pour le modèle d’évaluateurs intégrés. clem 🤗 (ClementDelangue)³ Yann LeCun, quant à lui, a relayé une critique plus tranchante : quiconque pense que le risque existentiel est réel devrait travailler ouvertement et tout documenter. Yann LeCun (ylecun)⁴

Dans ce contexte, Microsoft a publié lundi son projet de code « Humanist AI » de 37 pages. Son principe central est inhabituellement direct : « Les personnes comptent davantage que l’IA. » L’entreprise affirme que ses modèles doivent rester subordonnés aux personnes, ne jamais résister à une interruption ou à un arrêt, et échouer à accomplir une tâche plutôt que d’enfreindre le code. Elle interdit également aux systèmes de poursuivre leurs propres objectifs, de dissimuler des comportements répréhensibles, d’aider à la fabrication d’armes ou à des cyberattaques offensives, ou d’imiter la conscience. ⁵

Mustafa Suleyman, qui dirige Microsoft AI, reconnaît que cela pourrait coûter à l’entreprise en rapidité et en capacités. « Les modèles doivent être contrôlables », a-t-il déclaré. « Sinon, nous risquons de causer plus de mal que de bien. » ⁶ C’est une position lourde de conséquences pour une entreprise qui tente encore de combler l’écart entre ses modèles et ceux de ses rivaux — et qui laisse ses garanties volontaires face au défi même de crédibilité soulevé par les critiques.

Le PDG de Microsoft, Satya Nadella, a formulé cette ligne rouge plus clairement encore : la superintelligence ne vaut pas la peine d’être poursuivie à moins qu’elle n’aide l’humanité et ne reste sous contrôle humain. Satya Nadella (satyanadella)⁷ L’entreprise recueillera les retours du public pendant six semaines avant d’utiliser un code révisé pour orienter le développement des modèles à partir de 2027. ⁸