Amazon ha introdotto a maggio i suoi profili “About You” basati sull’IA, trasformando il familiare motore di raccomandazione in qualcosa che i clienti possono esaminare. La funzione attinge a cronologie degli acquisti, ricerche, liste salvate, recensioni e conversazioni con Alexa for Shopping, quindi consente agli utenti di modificare o eliminare le supposizioni che guidano i suggerimenti sui prodotti.¹

Il tempismo ha trasformato lo strumento in uno spettacolo sui social media. Quando gli acquirenti hanno iniziato a confrontare i dossier, le inferenze apparentemente utili di Amazon sembravano meno un banale targeting commerciale e più un’analisi del carattere non richiesta: un’utente ha detto che il sistema aveva concluso che avesse i “glutei piatti”; un’altra persona ha scoperto che aveva identificato un marito con “gambe magre”. Una terza persona è rimasta sorpresa dall’osservazione che usa il telefono sotto la doccia per leggere libri Kindle. Il fascino, e il disagio, stanno nel vedere il profilo solitamente tenuto dietro le quinte.¹

Un test della redazione di Business Insider ha suggerito che l’algoritmo non è né chiaroveggente né del tutto casuale. Lo staff ha comunemente trovato tra 30 e 45 osservazioni. Spesso riconosceva animali domestici, luoghi, abitudini alimentari e acquisti, ma gestiva male dettagli familiari e relazioni. L’account condiviso di un redattore ha portato Amazon a identificare un gatto ignorandone un altro; un altro profilo ha attribuito erroneamente a qualcuno una fidanzata di nome “Barry”. Eppure molti giudizi erano abbastanza vicini da sembrare invasivi: una giornalista ha detto che il sistema sapeva che preferiva prodotti biologici e contenitori per alimenti in vetro, mentre un’altra è stata etichettata come avente esigenze di “sicurezza in bagno” dopo aver acquistato una sedia da doccia.²

Questo bilancio contrastante è al centro del disagio. Le supposizioni errate possono essere divertenti, ma il sistema sottostante è costruito a partire da un’ampia scia comportamentale—e le sue conclusioni possono comunque orientare le persone verso prodotti e marchi specifici. Un’analisi sostiene che la pagina di Amazon sia solo un frammento visibile di un cambiamento molto più ampio: ai servizi di IA viene concesso accesso a e-mail, calendari, messaggi di testo e conti bancari, mentre le aziende cercano modi per trasformare in ricavi i costosi investimenti nell’IA.³

Per ora, Amazon offre agli utenti una certa possibilità di correzione. La questione più ampia è se la capacità di modificare un dossier sia una rassicurazione sufficiente, una volta che gli acquirenti comprendono quanto dettagliato possa diventare il dossier.