Entre décembre et août, Anthropic affirme avoir détecté cinq tentatives présumées d’utiliser Claude de manière à soutenir des travaux sur les armes biologiques. Son rapport sur les menaces décrivait des utilisateurs tentant de contourner les contrôles et de dissimuler l’objectif de leurs recherches, y compris des travaux impliquant des virus dangereux.¹

La réserve centrale de l’entreprise est importante : elle affirme n’avoir pas pu établir que les chercheurs avaient l’intention de nuire. Les mêmes connaissances scientifiques peuvent servir de base aux vaccins ou à la surveillance des agents pathogènes comme aux armes. Mais Anthropic a conclu que les cas révélaient des « efforts importants de recherche à double usage » liés à des acteurs étatiques préoccupants qui contournent régulièrement les contrôles d’accès, et a soutenu qu’il sera nécessaire de vérifier la légitimité des utilisateurs et de conserver des données afin de détecter les abus.²

En réponse, Anthropic a déclaré avoir limité les travaux à des modèles moins puissants et banni les comptes concernés. Une publication de l’entreprise, relayée par Andrej Karpathy, indiquait que chaque opération décrite dans son rapport de renseignement sur les menaces le plus détaillé avait été perturbée ; le rapport couvrait des tentatives d’utilisation abusive dans les domaines de la biologie, des armes, des cyberattaques, des opérations d’influence et de la surveillance.Andrej Karpathy (karpathy)³

Cet épisode survient dans un contexte d’inquiétudes plus larges quant au fait que l’IA abaisse la barrière technique à la conception d’agents pathogènes dangereux. Un compte rendu du rapport mentionnait un chercheur d’une région non prise en charge qui a passé des semaines à planifier avec Claude des expériences sur la grippe aviaire, tandis que d’autres cas impliquaient des acteurs semblant tenter de contourner les garde-fous.⁴ Pourtant, les obstacles pratiques à la production d’une arme biologique restent considérables — une distinction qui sépare une capacité alarmante d’une catastrophe imminente.

Le débat politique s’élargit désormais au-delà des bannissements de comptes par Anthropic. Des experts en biosécurité cités dans la couverture réclament un examen gouvernemental et des normes pour les modèles puissants, plutôt que de simples consultations volontaires.⁵ Clement Delangue a avancé l’argument opposé : si les laboratoires estiment sincèrement que les risques existentiels liés à l’IA sont graves, a-t-il soutenu, ils devraient partager « les modèles, les jeux de données, le code d’entraînement et les traces des agents » afin de permettre beaucoup plus de recherches.clem 🤗 (ClementDelangue)⁶ L’affrontement est de plus en plus clair : verrouiller les systèmes de pointe, ou les ouvrir suffisamment pour comprendre le danger avant qu’il ne dépasse les défenses.