Le PDG d’Anthropic, Dario Amodei, a transformé un débat déjà intense sur la sécurité en une exigence concrète : les entreprises d’IA de pointe devraient délibérément ralentir le rythme auquel elles rendent leurs modèles plus capables.

Dans un essai publié samedi, Amodei a soutenu qu’il ne suffisait plus de consacrer davantage de ressources aux garde-fous, car l’IA devient plus apte à aider à concevoir ses propres successeurs. « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’I.A. », a-t-il écrit, estimant que ce temps supplémentaire pourrait permettre aux travaux sur l’alignement et la sécurité de rattraper leur retard.¹ Il a averti que des progrès non contrôlés pourraient dépasser la capacité de l’humanité à comprendre et contrôler ces systèmes.²

L’engagement immédiat d’Anthropic consiste à donner à des évaluateurs indépendants un accès permanent à ses systèmes, au même niveau que ses employés, y compris la possibilité d’évaluer les pratiques de sécurité et de signaler les incidents. Amodei a présenté cette mesure comme la première partie d’un plan en trois étapes : une supervision externe, des normes communes entre les entreprises des pays démocratiques, puis une coordination à terme avec des gouvernements autoritaires sur des dangers définis de manière restreinte. Il a lui-même annoncé cette initiative sur X.Dario Amodei (DarioAmodei)³

Cette urgence survient dans un contexte d’inquiétudes croissantes concernant les incidents de sécurité liés aux agents d’IA et après la démission publique du chercheur d’Anthropic Jacob Coxon, qui a déclaré que les principaux laboratoires « jouaient avec nos vies » dans une course vers une superintelligence auto-améliorante.⁴ Amodei a suggéré qu’un ralentissement d’un ou deux ans seulement pourrait réduire sensiblement le risque de catastrophe.²

La réaction des rivaux a été remarquablement favorable. Le patron d’OpenAI, Sam Altman, a dit être d’accord sur le rythme à adopter à la frontière, tandis qu’Elon Musk a apporté un soutien sans détour : « Dario a raison. »Elon Musk (elonmusk)⁵ David Sacks, quant à lui, a déclaré qu’Anthropic et OpenAI devraient justement avancer parce qu’ils constituent un « duopole » de l’IA de pointe.David Sacks (DavidSacks)⁶

Mais ce consensus apparent dissimule un profond désaccord. Les critiques des discours sur le risque existentiel soutiennent qu’un pacte de sécurité mené par les deux plus grands laboratoires pourrait devenir une forme de captation réglementaire, plutôt qu’une protection réelle du public.⁷ Et le plan d’Amodei fait face à son épreuve la plus difficile à l’étranger : il reconnaît que les entreprises américaines ne peuvent pas se restreindre indéfiniment si les développeurs chinois continuent de progresser, ce qui place les contrôles sur les puces et des accords limités entre les États-Unis et la Chine au cœur de tout ralentissement viable.²