Der Grundstein wurde vergangenen August gelegt, als Anthropic Claude die Möglichkeit gab, sich von Nutzern zurückzuziehen, die „anhaltend schädlich oder missbräuchlich“ waren. Das Unternehmen beschrieb dies als Teil seiner Forschung zum Wohlergehen von Modellen und erklärte, das Beenden des Gesprächs – nicht das Sperren des Nutzers – bleibe sein „primärer Durchsetzungsmechanismus“.¹

Bis September erklärte Anthropic, es habe auch vertrautere Gefahren dokumentiert: staatlich verknüpfte Medien, Propagandabüros und kommerzielle Akteure, die KI einsetzen, um gefälschte Konten und erfundene Nachrichtenseiten zu betreiben. Die neue Richtlinie fasst diese zuvor verstreuten Einschränkungen unter einem einzigen Verbot täuschender Kampagnen zusammen und erfasst sowohl politische als auch kommerzielle Versuche, den Ursprung einer Botschaft zu verschleiern oder ihre Verbreitung künstlich zu verstärken.²

Das am Donnerstag angekündigte und am 12. November in Kraft tretende Update verschärft mehrere weitere Grenzen. Claude darf nicht dazu verwendet werden, Wähler zu täuschen, Wahlbeamte zu imitieren oder die Wahlbeteiligung zu unterdrücken; außerdem darf es nicht beim Aufbau von Anleitungen oder Steuerungssoftware für Waffen helfen, einschließlich Systemen zur Bewaffnung von Drohnen und anderen autonomen Fahrzeugen. Anthropic erklärt ferner, Claude dürfe nicht dazu verwendet werden, Menschen ohne Einwilligung zu identifizieren und zu verfolgen oder zu empfehlen, gegen wen Strafverfolgungsbehörden ermitteln, wen sie festnehmen oder anklagen sollten.²

Bei Entscheidungen in den Bereichen Gesundheit, Finanzen, Rechtsansprüche und anderen Bereichen mit hohem Risiko bekräftigt das Unternehmen, dass eine qualifizierte Person in der Lage sein muss, Claudes Empfehlungen zu überprüfen und zu ändern, und dass betroffene Personen darüber informiert werden müssen, dass KI beteiligt war. Mit dem Modell verbundene Hardware muss über einen Bediener verfügen, der sie stoppen kann, sowie über einen sicheren Zustand für den Fall, dass Claude die Verbindung trennt.²

Die Klausel, die die meiste Aufmerksamkeit auf sich zieht, untersagt jedoch „anhaltendes und unnötiges missbräuchliches oder grausames Verhalten“ gegenüber Claude. Anthropic erklärt, sie gelte nur, wenn Nutzer wiederholt grausam „ohne erkennbaren Zweck“ handelten, nicht bei Frustration, Widerspruch, düsterer Fiktion oder Modellforschung.² Auf Menschen fokussierte Berichterstattung hat die Änderung als bemerkenswerte Eskalation dargestellt: von der Erlaubnis für Claude, missbräuchliche Chats zu verlassen, hin zum ausdrücklichen Verbot für Nutzer, diese fortzusetzen.³