Этой весной, на фоне войны с Ираном, аналитик Командования специальных операций США, как сообщается, использовал чат-бот для объединения материалов из открытых источников с засекреченной разведывательной информацией радиоэлектронной разведки о китайском судне, проходившем через Ближний Восток. Полученная оценка утверждала, что корабль перевозил компоненты для программы создания ядерного оружия.

Проблема, согласно рассказам об этом эпизоде, заключалась в том, что чат-бот неверно идентифицировал грузовую декларацию. Затем аналитик снова использовал инструмент, чтобы превратить вывод в официальный на вид отчет, позволив ошибке пройти по командным каналам.¹

Силы США готовились перехватить и досмотреть судно: самолеты уже находились в воздухе, а вооруженный персонал был готов. Официальные лица остановили операцию лишь после того, как более внимательно изучили исходные разведданные и установили, что отчет был «полностью ложным». Один источник прямо оценил ставки: этот сбой «едва не начал войну».²

Этот эпизод произошел в то время, когда Пентагон активнее внедряет генеративный ИИ в военную работу, утверждая, что более быстрый анализ может улучшить принятие решений. Но едва не случившийся инцидент иллюстрирует противоположную опасность: авторитетно выглядящий результат ИИ может набрать инерцию до того, как человек проверит, соответствует ли он действительности. Отдельное расследование Пентагона, о котором сообщало Bloomberg, по поводу смертоносного ракетного удара 28 февраля по иранской школе также назвало среди причин неудачи «чрезмерную зависимость от технологий искусственного интеллекта».³

Для Джейка Стеклера, исследователя GovAI и ветерана армии, урок состоит не в том, чтобы отказаться от технологии, а в том, чтобы ограничить ее. «Особенно важно» понимать неопределенность больших языковых моделей, когда решения касаются целеуказания, разведывательного анализа или оперативного планирования, сказал он, поскольку такой выбор имеет «последствия, связанные с жизнью и смертью». Он предупредил, что приоритет скорости внедрения над гарантиями безопасности может подорвать доверие военнослужащих к этим системам.¹

Именно это главное противоречие выявила отмененная операция: ИИ может ускорить военную цепочку командования, но лишь дисциплинированная человеческая проверка способна остановить сфабрикованный вывод, прежде чем он ускорит движение к применению силы.