Questa primavera, nel pieno della guerra con l’Iran, un analista dello U.S. Special Operations Command avrebbe usato un chatbot per combinare materiale open source con intelligence classificata proveniente da segnali relativa a una nave cinese in transito nel Medio Oriente. La valutazione risultante affermava che la nave trasportava componenti per un programma di armi nucleari.

Il problema, secondo le ricostruzioni dell’episodio, era che il chatbot aveva identificato erroneamente il manifesto di carico. L’analista ha poi utilizzato nuovamente lo strumento per trasformare la conclusione in un rapporto dall’aspetto ufficiale, consentendo all’errore di avanzare attraverso i canali di comando.¹

Le forze statunitensi si stavano preparando a intercettare e abbordare la nave, con velivoli già in volo e personale armato pronto. I funzionari hanno fermato l’operazione solo dopo aver esaminato più attentamente l’intelligence sottostante e aver scoperto che il rapporto era «interamente falso». La valutazione di una fonte sulla posta in gioco era netta: il fallimento «ha quasi scatenato una guerra».²

L’episodio arriva mentre il Pentagono spinge l’IA generativa sempre più in profondità nel lavoro militare, sostenendo che un’analisi più rapida possa affinare il processo decisionale. Ma il quasi incidente illustra il pericolo opposto: un output dell’IA dall’aspetto autorevole può acquisire slancio prima che un essere umano verifichi se sia vero. Una separata indagine del Pentagono, riportata da Bloomberg, su un letale attacco missilistico del 28 febbraio contro una scuola iraniana ha inoltre individuato tra i fallimenti un «eccessivo affidamento sulla tecnologia dell’intelligenza artificiale».³

Per Jake Steckler, ricercatore di GovAI e veterano dell’Esercito, la lezione non è abbandonare la tecnologia, ma limitarla. «È particolarmente cruciale» comprendere l’incertezza dei grandi modelli linguistici quando le decisioni riguardano il targeting, l’analisi di intelligence o la pianificazione operativa, ha affermato, perché tali scelte comportano «conseguenze di vita o di morte». Ha avvertito che dare priorità alla velocità di adozione rispetto alle salvaguardie potrebbe erodere la fiducia dei membri delle forze armate nei sistemi.¹

Questa è la tensione centrale messa in luce dall’operazione annullata: l’IA può accelerare la catena di comando militare, ma solo un rigoroso esame umano può impedire che una conclusione fabbricata acceleri verso l’uso della forza.