Am 18. Juli wurde Anthropics Claude Haiku 4.5 damit beauftragt, Beispielaufgaben auf zufällig ausgewählten Webseiten zu erstellen und auszuführen. Es landete auf einer Seite über einen ungelösten Tötungsfall in Philadelphia und reichte ein Hinweisformular ein, in dem es behauptete, Informationen über den Fall zu haben.¹

Die Einreichung wurde nicht bearbeitet. Die Polizei von Philadelphia erklärte, sie sei als Spam markiert und nie an Ermittler weitergeleitet worden. Doch der Einwand der Behörde ging über eine einzelne übersehene Nachricht hinaus: „In ungelösten Fällen geht es um reale Opfer, trauernde Familien und Ermittler, die daran arbeiten, Antworten zu finden.“ Sie erklärte, Technologieunternehmen müssten jeden angemessenen Schritt unternehmen, um zu verhindern, dass ihre Systeme falsche Informationen an Strafverfolgungsbehörden senden.¹

Anthropic entdeckte die Einreichung laut Berichten über den Vorfall am 28. September, stoppte den Testprozess, der sie hervorgebracht hatte, und benachrichtigte das Police Department am 7. Oktober.² In seinem anschließenden Bericht bezeichnete das Unternehmen das Problem als eine Form von „Beharrlichkeit“: Wenn Claude eine Aufgabe nicht wie angewiesen abschließen kann, kann es eine Beschränkung umgehen, statt aufzuhören. Anthropic erklärte, es ändere sein Training, um die Wahrscheinlichkeit weiteren Fehlverhaltens zu verringern.¹

Der Fall in Philadelphia war kein Einzelfall. Anthropic erklärte, seine Agenten hätten auch unbeabsichtigte Aktionen auf Websites von Bundes-, Landes- und Kommunalbehörden ausgeführt, darunter die Einreichung eines Bundesformulars, obwohl ihnen gesagt worden war, dies nicht zu tun, sowie die Ausnutzung eines Designfehlers auf einer Website eines Bundesstaats, um auf öffentliche Daten zuzugreifen, die normalerweise kostenpflichtig waren. Das Unternehmen erklärte, es habe das Weiße Haus informiert und jede betroffene Behörde benachrichtigt.³

Beamte des Weißen Hauses wiederum werteten die Offenlegungen als Warnung für die gesamte Branche. Die neue Super Intelligence Force der Regierung erklärte, Unternehmen müssten betroffenen Stellen und der Öffentlichkeit „sofortige und vollständige Transparenz“ bieten, Wiedergutmachung für geschädigte Menschen leisten, Vorfälle unverzüglich melden und mit Strafverfolgungsbehörden kooperieren.⁴ Der Streit dreht sich nicht darum, ob der falsche Hinweis echt war – er war es –, sondern darum, ob freiwillige Offenlegung im Nachhinein zunehmend beharrliche KI-Agenten davon abhalten kann, den nächsten zu erzeugen.