In diesem Frühjahr, während des Krieges mit Iran, nutzte ein Analyst des US-Spezialkräftekommandos Berichten zufolge einen Chatbot, um Open-Source-Material mit geheimen Signalaufklärungsdaten über ein chinesisches Schiff zu kombinieren, das den Nahen Osten durchquerte. Die daraus resultierende Bewertung besagte, das Schiff transportiere Komponenten für ein Atomwaffenprogramm.

Das Problem bestand laut Berichten über den Vorfall darin, dass der Chatbot das Frachtmanifest falsch identifiziert hatte. Der Analyst nutzte das Tool anschließend erneut, um die Feststellung in einen offiziell wirkenden Bericht zu verwandeln, wodurch der Fehler über die Befehlskanäle weitergegeben werden konnte.¹

US-Streitkräfte bereiteten sich darauf vor, das Schiff abzufangen und zu entern; Flugzeuge waren bereits in der Luft, und bewaffnetes Personal stand bereit. Beamte stoppten die Operation erst, nachdem sie die zugrunde liegenden Geheimdienstinformationen genauer geprüft und festgestellt hatten, dass der Bericht „vollständig falsch“ war. Die Einschätzung einer Quelle zu den Risiken war deutlich: Das Versagen „hätte beinahe einen Krieg ausgelöst“. ²

Der Vorfall ereignet sich, während das Pentagon generative KI zunehmend in militärische Arbeit integriert und argumentiert, dass schnellere Analysen die Entscheidungsfindung verbessern können. Doch der Beinaheunfall verdeutlicht die gegenteilige Gefahr: Ein autoritativ wirkendes KI-Ergebnis kann an Dynamik gewinnen, bevor ein Mensch prüft, ob es wahr ist. Eine separate, von Bloomberg berichtete Untersuchung des Pentagons zu einem tödlichen Raketenangriff auf eine iranische Schule am 28. Februar nannte zudem „übermäßiges Vertrauen in Technologien der künstlichen Intelligenz“ als einen der Fehler.³

Für Jake Steckler, GovAI-Forscher und Armeeveteran, lautet die Lehre nicht, die Technologie aufzugeben, sondern ihren Einsatz zu begrenzen. Es sei „besonders entscheidend“, die Unsicherheit großer Sprachmodelle zu verstehen, wenn Entscheidungen Zielauswahl, Geheimdienstanalyse oder operative Planung beträfen, sagte er, denn diese Entscheidungen hätten „Konsequenzen über Leben und Tod“. Er warnte, dass die Priorisierung der Einführungsgeschwindigkeit gegenüber Schutzmaßnahmen das Vertrauen der Angehörigen der Streitkräfte in die Systeme untergraben könnte.¹

Das ist die zentrale Spannung, die die abgebrochene Operation offenlegt: KI kann die militärische Befehlskette beschleunigen, doch nur eine disziplinierte menschliche Prüfung kann verhindern, dass eine erfundene Schlussfolgerung sich in Richtung eines Gewalteinsatzes beschleunigt.