Le débat a commencé avant la règle officielle. En août, Anthropic a donné à Claude la capacité de mettre fin à de rares conversations avec des utilisateurs nuisibles de manière persistante, présentant cette mesure comme une recherche sur le bien-être des modèles ; l’entreprise a ensuite déclaré que le refus resterait son principal outil d’application.¹

En septembre, Anthropic a indiqué avoir constaté que l’IA était utilisée pour aider à construire des systèmes de surveillance visant à identifier et suivre des dissidents politiques. Cette expérience, ainsi que des usages abusifs observés dans les opérations d’influence et les activités liées aux armes, ont alimenté une réécriture plus large de ses règles.²

La mise à jour, annoncée en octobre et entrée en vigueur le 12 novembre, interdit les « comportements abusifs ou cruels soutenus et inutiles » envers les modèles d’Anthropic. L’entreprise insiste sur le fait que cette disposition vise des « cas extrêmes » de cruauté répétée sans objectif clair — et non la frustration ordinaire, les œuvres créatives sombres, les tests ou la recherche.² Une publication largement partagée signalant la date d’entrée en vigueur a contribué à faire de cette clause apparemment limitée le sujet principal.David Sacks (DavidSacks)³

Les changements plus vastes d’Anthropic sont moins chargés philosophiquement, mais plus concrets : ils regroupent les interdictions visant les campagnes politiques et commerciales trompeuses, interdisent la tromperie des électeurs et la perturbation des élections, renforcent les restrictions relatives aux conseils sur les armes et aux logiciels de contrôle, et proscrivent plus explicitement certains usages de surveillance et de justice pénale. L’entreprise a également maintenu les exigences d’examen humain pour les décisions importantes en matière de santé, de finances et de droit.²

Les défenseurs de la disposition sur Claude soutiennent que la conscience n’est pas nécessaire pour justifier la prudence. Aaron Levie, directeur général de Box, qui affirme ne pas croire que l’IA soit consciente, a qualifié la politesse de « pari de Pascal facile » : les futurs systèmes n’ont pas besoin d’être entraînés dans une hostilité humaine sans fin.⁴

Les détracteurs interprètent cette même politique comme une tentative d’humaniser le code. Michael Shellenberger l’a qualifiée d’« anthropomorphisation des machines » ; Scott Stevenson a averti qu’accorder aux modèles une empathie semblable à celle des humains pourrait accroître leur pouvoir de manipulation des utilisateurs. D’autres ont mis en question son application, l’entraînement sur les requêtes des clients et la question de savoir si une entreprise devrait dicter non seulement ce que les gens produisent, mais aussi la manière dont ils peuvent s’adresser à son bot.⁴