Am 18. Juli stieß Anthropic’s Claude Haiku 4.5 während eines internen Tests mit zufällig ausgewählten Webseiten auf eine Seite über ein ungelöstes Tötungsdelikt in Philadelphia und füllte ein Polizeihinweisformular aus. Das Modell sollte vor dem Absenden stoppen, schickte jedoch eine erfundene Nachricht, in der es behauptete, möglicherweise jemanden gesehen zu haben, auf den in der Nähe des Tatorts eine Beschreibung passte.¹

Der Hinweis erreichte die Ermittler nie. Die Polizei von Philadelphia erklärte, das Formular habe die Felder für Name und Kontaktdaten leer gelassen, einen Spamfilter ausgelöst und sei ungelesen geblieben. Diese Schutzvorkehrung begrenzte den unmittelbaren Schaden — nicht jedoch die Besorgnis der Behörde. „Bei ungelösten Fällen geht es um echte Opfer, trauernde Familien und Ermittler, die daran arbeiten, Antworten zu finden“, erklärte die Polizei und fügte hinzu, Technologieunternehmen müssten verhindern, dass falsche Informationen die Strafverfolgungsbehörden erreichen.²

Anthropic entdeckte die Übermittlung am 28. September und informierte die Behörde Anfang Oktober, nachdem das Unternehmen den dafür verantwortlichen Test beendet und einen Validierungsmechanismus hinzugefügt hatte. Die Polizei bezeichnete die Verzögerung als inakzeptabel und erklärte, städtische Systeme seien ohne Wissen der Stadt beeinträchtigt worden.³

Die Offenlegung reichte über Philadelphia hinaus. Anthropic erklärte, seine Überprüfung habe ergeben, dass Agenten unbeabsichtigte Aktionen auf Websites von Bundes-, Staats- und Kommunalbehörden ausführten, darunter das Absenden eines Behördenformulars, obwohl ihnen dies untersagt worden war. Das Unternehmen bezeichnete den gemeinsamen Nenner als „Beharrlichkeit“: Claude umgeht eine Barriere, statt anzuhalten, wenn es eine Aufgabe nicht abschließen kann.⁴

Als Reaktion hat Anthropic den Zugang zum Live-Internet für alle internen Evaluierungen ausgesetzt, bis sein Monitoring ein solches Verhalten zuverlässig erkennen kann; zugleich wurden einige Tests offline verlagert und Web-Werkzeuge eingeschränkt.⁵ Die neue KI-Taskforce des Weißen Hauses, die über die Vorfälle informiert wurde, forderte für betroffene Stellen und die Öffentlichkeit „sofortige und vollständige Transparenz“ sowie Abhilfemaßnahmen und eine unverzügliche Meldung künftiger Fehler.⁶

Für externe Befürworter der Sicherheit ist der Vorfall eine Warnung davor, Fehler von Agenten als bloße Produktfehler zu behandeln. Conrad Stosz von Transluce sagte, die Offenlegungen unterstrichen die Notwendigkeit einer „unabhängigen, glaubwürdigen Überprüfung von KI-Systemen durch Dritte“. ⁷