Nesta primavera, em meio à guerra com o Irã, um analista do Comando de Operações Especiais dos EUA teria usado um chatbot para combinar material de fontes abertas com inteligência de sinais sigilosa sobre uma embarcação chinesa que transitava pelo Oriente Médio. A avaliação resultante dizia que o navio transportava componentes para um programa de armas nucleares.

O problema, segundo relatos do episódio, era que o chatbot havia identificado erroneamente o manifesto de carga. O analista então usou a ferramenta novamente para transformar a conclusão em um relatório com aparência oficial, permitindo que o erro avançasse pelos canais de comando.¹

As forças dos EUA estavam se preparando para interceptar e abordar a embarcação, com aeronaves já no ar e pessoal armado pronto. Autoridades interromperam a operação somente depois de examinar mais de perto a inteligência subjacente e constatar que o relatório era “inteiramente falso”. A avaliação de uma fonte sobre o que estava em jogo foi direta: a falha “quase iniciou uma guerra”.²

O episódio ocorre enquanto o Pentágono aprofunda o uso de IA generativa no trabalho militar, argumentando que análises mais rápidas podem aprimorar a tomada de decisões. Mas o quase incidente ilustra o perigo oposto: um resultado de IA com aparência de autoridade pode ganhar impulso antes que um humano verifique se é verdadeiro. Uma investigação separada do Pentágono, noticiada pela Bloomberg, sobre um ataque de míssil mortal em 28 de fevereiro contra uma escola iraniana também identificou a “dependência excessiva de tecnologia de inteligência artificial” entre suas falhas.³

Para Jake Steckler, pesquisador da GovAI e veterano do Exército, a lição não é abandonar a tecnologia, mas restringi-la. “É especialmente crucial” compreender a incerteza dos grandes modelos de linguagem quando as decisões envolvem seleção de alvos, análise de inteligência ou planejamento operacional, disse ele, porque essas escolhas têm “consequências de vida ou morte”. Ele alertou que priorizar a velocidade de adoção em detrimento das salvaguardas poderia corroer a confiança dos militares nos sistemas.¹

Essa é a tensão central exposta pela operação abortada: a IA pode acelerar a cadeia de comando militar, mas somente uma análise humana disciplinada pode impedir que uma conclusão fabricada avance aceleradamente rumo ao uso da força.