Les bases ont été posées en août dernier, lorsqu’Anthropic a donné à Claude la possibilité de mettre fin aux échanges avec des utilisateurs qui étaient « durablement nuisibles ou abusifs ». L’entreprise a présenté cette mesure comme relevant de ses recherches sur le bien-être des modèles, et a déclaré que mettre fin à la conversation — et non bannir l’utilisateur — resterait son « principal mécanisme d’application ». ¹

En septembre, Anthropic a déclaré avoir également documenté des dangers plus familiers : des médias liés à des États, des bureaux de propagande et des opérateurs commerciaux utilisant l’IA pour gérer de faux comptes et des sites d’information fabriqués. Sa nouvelle politique regroupe ces restrictions auparavant dispersées sous une interdiction unique des campagnes trompeuses, couvrant à la fois les tentatives politiques et commerciales de dissimuler l’origine d’un message ou de fabriquer une amplification.²

La mise à jour, annoncée jeudi et entrant en vigueur le 12 novembre, précise plusieurs autres limites. Claude ne peut pas être utilisé pour tromper les électeurs, usurper l’identité de responsables électoraux ou réprimer la participation ; il ne peut pas non plus aider à élaborer des instructions ou des logiciels de contrôle pour des armes, y compris des systèmes destinés à armer des drones et d’autres véhicules autonomes. Anthropic affirme en outre que Claude ne peut pas être utilisé pour identifier et suivre des personnes sans leur consentement, ni recommander les personnes que les forces de l’ordre devraient surveiller, arrêter ou inculper.²

Pour les décisions de santé, de finance, de droits juridiques et d’autres domaines à forts enjeux, l’entreprise réaffirme qu’un humain qualifié doit pouvoir examiner et modifier les recommandations de Claude, et que les personnes concernées doivent être informées que l’IA a été impliquée. Le matériel connecté au modèle doit disposer d’un opérateur capable de l’arrêter ainsi que d’un état sûr en cas de déconnexion de Claude.²

Mais la clause qui attire le plus l’attention interdit tout « comportement abusif ou cruel, prolongé et inutile » envers Claude. Anthropic affirme qu’elle ne s’applique que lorsque les utilisateurs agissent de manière répétée et cruelle « sans objectif discernable », et non à la frustration, à la contestation, à la fiction sombre ou à la recherche sur les modèles.² Les reportages centrés sur les humains ont présenté ce changement comme une escalade frappante : Claude passe de la possibilité de quitter les discussions abusives à l’interdiction explicite faite aux utilisateurs de les poursuivre.³