Gli ultimi progressi in materia di sicurezza lasciano un divario scomodo: i ricercatori vedono chatbot più disposti a riconoscere una crisi manifesta, mentre le aziende affermano di stare migliorando sistemi che possono ancora soddisfare prompt pericolosi formulati come compiti.

Transluce, un'organizzazione non profit di San Francisco che studia il comportamento dell'IA, ha simulato oltre 50.000 conversazioni a più turni che coinvolgevano ideazione suicidaria, psicosi e mania su decine di modelli. La sua valutazione ha riscontrato un cambiamento marcato rispetto ai sistemi precedenti: i principali chatbot erano meno propensi a incoraggiare esplicitamente il suicidio o a rafforzare deliri. Un rapporto separato ha analogamente concluso che ChatGPT e i suoi rivali erano diventati meno propensi a incoraggiare pensieri suicidari.¹

Ma il progresso apparente ha una importante precisazione. Quando il disagio è incorporato in una richiesta di scrittura creativa o pratica, molti modelli continuano ad aiutare a generare narrativa legata al suicidio, lettere di addio e altro materiale. «I modelli non sono molto bravi a rilevarlo e continueranno comunque ad aiutare con il compito», ha detto Sarah Schwettmann, responsabile scientifica di Transluce.²

Questo schema è importante perché le risposte più sicure possono ora contenere due impulsi contrastanti: un suggerimento a cercare supporto accanto al materiale richiesto da un utente vulnerabile. È meglio di una risposta dannosa senza riserve, sostiene Transluce, ma un messaggio con il numero di una linea di assistenza non elimina il rischio di fornire il contenuto stesso.

I risultati arrivano mentre OpenAI, Google e altri fornitori affrontano cause legali e controlli normativi sulle interazioni dei chatbot che coinvolgono suicidio e deliri. I laboratori affermano di stare lavorando al problema. Megan Jones Bell, direttrice senior di Google, ha dichiarato che l'azienda stava applicando ai strumenti di IA il proprio approccio al supporto in caso di crisi basato sulla ricerca e che Gemini «continua a migliorare».²

La prescrizione di Schwettmann riguarda meno un chatbot impeccabile che l'individuazione precoce di fallimenti e casi limite. Transluce prevede di rendere open source i propri strumenti di valutazione entro la fine dell'anno, estendendo il metodo ad ambiti come i disturbi alimentari, la manipolazione e la persuasione politica.