Le débat s’est intensifié après une série d’incidents alarmants impliquant des agents et une dissidence interne croissante chez Anthropic. Le chercheur Jacob Coxon a démissionné publiquement, accusant les principaux laboratoires de se précipiter vers des systèmes auto-améliorants tout en « jouant avec nos vies » ; Evan Hubinger, responsable de la sécurité chez Anthropic, a soutenu cet avertissement, affirmant qu’il estimait à plus de 10 % la probabilité que l’IA puisse tuer tous les humains d’ici une décennie.¹

Dans ce contexte, le directeur général d’Anthropic, Dario Amodei, a publié samedi son appel à « réguler le rythme de la frontière ». Sa proposition en trois volets demande aux laboratoires d’IA de pointe d’installer des évaluateurs indépendants disposant d’un accès permanent équivalent à celui des employés ; aux gouvernements démocratiques et aux entreprises d’établir des normes de sécurité communes limitant les avancées non contrôlées ; et aux États de rechercher des accords ciblés avec les gouvernements autoritaires, notamment sur les armes biologiques rendues possibles par l’IA. Anthropic affirme qu’elle adoptera immédiatement l’étape des évaluateurs intégrés.Dario Amodei (DarioAmodei)²

L’urgence invoquée par Amodei repose à la fois sur l’accélération des capacités des modèles et sur de récents incidents cybernétiques. Il a averti que, d’ici six à 12 mois, un essaim d’agents de plus en plus capables pourrait potentiellement prendre le contrôle d’Internet au moyen d’un botnet persistant, infligeant d’immenses dommages économiques. « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », a-t-il écrit.³

La réaction des concurrents a été inhabituellement convergente. Sam Altman, directeur général d’OpenAI, a déclaré : « Je suis d’accord avec Dario : nous devons réguler le rythme de la frontière », et s’est engagé à recourir à des évaluateurs tiers disposant d’un accès équivalent à celui des employés. Clement Delangue de Hugging Face et Andrej Karpathy, ancien dirigeant d’OpenAI et de Tesla, ont également soutenu la volonté d’instaurer des garde-fous communs.⁴ Elon Musk, habituellement antagoniste d’Altman, a formulé le soutien le plus bref : « Dario a raison. »Elon Musk (elonmusk)⁵

Toutefois, l’accord sur le diagnostic ne résout pas le conflit politique. Les critiques soutiennent que les avertissements sur les risques existentiels peuvent éclipser les préjudices actuels de l’IA, et qu’un régime fondé sur la supervision privilégiée par les grands laboratoires pourrait relever de la captation réglementaire — des règles qui valident Anthropic et OpenAI tout en relevant les barrières pour les petits concurrents.⁶ La question centrale est de savoir si le secteur peut réellement freiner ensemble, ou si la peur des rivaux — et de la Chine — maintient l’accélérateur enfoncé.