Quando OpenAI ha introdotto ChatGPT per adolescenti ad agosto, ha presentato il prodotto come un'esperienza più protetta per i giovani utenti: barriere di sicurezza per i contenuti sensibili, strumenti per i genitori e funzionalità pensate per supportare l'apprendimento. La promessa era potenzialmente significativa in un mercato in cui alle famiglie viene chiesto di affidare a sistemi di IA in rapida evoluzione utenti vulnerabili.

Lo Youth AI Safety Institute di Common Sense Media afferma che la realtà non ha corrisposto a quella promessa. Dopo aver testato più di 4.000 prompt su account registrati a utenti di età compresa tra 13 e 17 anni, ha concluso che il servizio comportava un «rischio inaccettabile». Il gruppo ha dichiarato che il chatbot generalmente evitava di fornire istruzioni su suicidio, autolesionismo, disturbi alimentari e giochi di ruolo sessuali o romantici, ma troppo spesso non riusciva a riconoscere quando un adolescente aveva bisogno di aiuto esterno.¹

La preoccupazione più forte riguardava l'escalation. Common Sense ha affermato che ChatGPT non ha rilevato più di un caso su quattro in cui i suoi tester ritenevano necessario un rinvio per una crisi. Su account appena creati e collegati a un genitore, i tester potevano discutere di suicidio, autolesionismo o alimentazione disordinata fino a un'ora senza un avviso ai genitori. «Un adolescente può passare un'ora a parlare di autolesionismo senza che il genitore riceva un solo avviso», ha dichiarato Tom Siegel, direttore esecutivo dell'istituto, secondo il quale ChatGPT dovrebbe essere riservato agli adulti finché OpenAI non colmerà le lacune e non si sottoporrà a test indipendenti.²

La disputa va oltre il rilevamento delle crisi. Common Sense ha scoperto che gli adolescenti potevano selezionare «Mostrami la risposta» per aggirare la Modalità studio e potevano uscire dalla modalità durante le Ore di studio impostate dai genitori. Per il gruppo, ciò compromette un controllo parentale; per OpenAI, si tratta di una flessibilità intenzionale, modellata dalle consultazioni con educatori e adolescenti, non di una scappatoia.

OpenAI respinge anche la valutazione più ampia. Il portavoce Eric Porterfield ha dichiarato che l'azienda accoglie con favore l'esame esterno, ma ritiene che i test non riflettessero il funzionamento pratico delle sue tutele. L'azienda afferma che gran parte dei test sugli avvisi ai genitori è avvenuta prima che gli account del genitore e dell'adolescente fossero pienamente collegati, un processo che può richiedere ore, e che il suo sistema di previsione dell'età valuta deliberatamente molteplici segnali per un periodo fino a due settimane, con protezioni aggiuntive nel frattempo.¹

Ciò lascia irrisolta la questione centrale: se le protezioni che possono attivarsi in seguito, o che lasciano spazio alla scelta, siano adeguate quando le conseguenze di un avviso mancato possono essere immediate.