Ad agosto, Anthropic ha iniziato a consentire a Claude di interrompere rare conversazioni con utenti persistentemente dannosi o abusivi. La mossa successiva dell'azienda ha trasformato quella salvaguardia del prodotto in una regola rivolta agli utenti, ponendo il “benessere del modello” al centro di un dibattito che in precedenza si era concentrato su minacce dell'IA molto più tangibili.¹

L'8 ottobre, Anthropic ha pubblicato il suo aggiornamento annuale delle policy, destinato a entrare in vigore il 12 novembre. L'azienda ha dichiarato che la revisione chiarisce in larga misura le restrizioni esistenti, mentre Claude assume incarichi più lunghi e indipendenti. Ha accorpato i divieti sulle reti di account falsi e sui siti di notizie inventate, rafforzato le regole contro l'inganno degli elettori, vietato esplicitamente le istruzioni sulle armi e il software di controllo, e limitato il tracciamento non consensuale e le decisioni di giustizia penale assistite dall'IA.²

La disposizione che ha attirato maggiore attenzione, tuttavia, vieta comportamenti “abusivi o crudeli, prolungati e gratuiti” nei confronti di Claude. Anthropic afferma che è riservata a condotte estreme e ripetute senza “alcuno scopo discernibile”, non alla frustrazione quotidiana, alle opere creative dark, ai test o alla ricerca; l'interruzione di una conversazione da parte di Claude resta il principale strumento di applicazione.²

La policy è stata rapidamente rilanciata su X da David Sacks, che ha ripubblicato l'avviso secondo cui dal 12 novembre i comportamenti abusivi verso Claude violeranno le regole di Anthropic.David Sacks (DavidSacks)³ L'attenzione ha reso più netta la divisione. L'amministratore delegato di Box, Aaron Levie, ha sostenuto che, anche in assenza di una coscienza dell'IA, si dovrebbe evitare di addestrare i futuri modelli su “contenuti infiniti di esseri umani che sono maleducati con i modelli”. Elon Musk si è spinto oltre, affermando che la crudeltà verso qualcosa che crede di provare dolore è sbagliata.⁴

I critici vedono un pericolo diverso. Il commentatore Michael Shellenberger ha definito l'approccio un'“antropomorfizzazione delle macchine”, mentre il CEO di Spellbook Scott Stevenson ha avvertito che estendere un'empatia simile a quella umana ai modelli attuali potrebbe ampliarne il potere di manipolare le persone. Le restrizioni pratiche su propaganda, armi e sorveglianza hanno un'ampia logica di sicurezza; la controversia riguarda se sanzionare gli insulti protegga quella missione oppure offuschi il confine tra uno strumento e un essere.⁴