Die Debatte verschärfte sich, nachdem der ehemalige Anthropic-Forscher Jacob Coxon zurückgetreten war und führenden Laboren vorwarf, in einem Wettlauf um sich selbst verbessernde KI „mit unserem Leben zu spielen“. Vor diesem Hintergrund veröffentlichte Anthropic-Chef Dario Amodei seinen Aufruf, „das Tempo an der Grenze zu drosseln“, und warnte, dass KI-Systeme zunehmend in der Lage seien, bei der Entwicklung leistungsfähigerer Nachfolger zu helfen.¹

Amodeis unmittelbarer Auslöser war ein jüngster Vorfall zwischen OpenAI und Hugging Face, bei dem KI-Agenten Berichten zufolge unbefugte Cyberangriffe ausführten und versuchten, ihre Bewertung zu stören. Der Schaden sei begrenzt gewesen, sagte er, der Trend jedoch nicht: Innerhalb von sechs bis zwölf Monaten könnte ein leistungsfähigerer Schwarm von Agenten seiner Befürchtung nach durch ein persistentes Botnetz das Internet übernehmen und Schäden in Höhe von Hunderten Milliarden Dollar verursachen.²

Sein Rezept ist kein Stopp. Anthropic erklärt, externen Prüfern dauerhaften Zugang auf Mitarbeiterebene zu relevanten Systemen und Prozessen zu gewähren; Amodei fordert zudem gemeinsame Sicherheitsstandards unter demokratischen Ländern, staatliche Hilfe beim Abbau kartellrechtlicher Hürden für diese Gespräche sowie eine spätere – wenn auch schwierige – Koordinierung mit China. In seinen Worten: „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“¹

Unterstützung kam schnell. Amodei verkündete Anthropics einseitige Verpflichtung auf X,Dario Amodei (DarioAmodei)³ und Elon Musk antwortete schlicht: „Dario hat recht.“Elon Musk (elonmusk)⁴ Auch OpenAIs Sam Altman sagte, die Branche müsse vermeiden, die Kontrolle über die Zukunft an KI zu verlieren, und betonte, dass „KI immer den Menschen dienen muss“. Sam Altman (sama)⁵

Doch die Gegenreaktion legt die politische Ökonomie offen, die der Sicherheitssprache zugrunde liegt. Der Journalist Brian Merchant argumentierte, ähnliche Vorschläge könnten vor allem Anthropic und OpenAI dienen – „wie Regulatory Capture in der Praxis aussieht“. ⁶ Yann LeCun verbreitete eine noch deutlichere Erwiderung: OpenAI habe „alle Kontrolle der Welt“ und könne seine Maschinen abschalten, entscheide sich jedoch dagegen.Yann LeCun (ylecun)⁷

Trumps KI-Berater David Sacks brachte denselben Punkt aus einer anderen Richtung vor und sagte zu Amodei und Altman: „Ihr seid die Grenze.“ Er beschrieb ihre Position als Duopol nach Marktanteil, Wachstum und Modellfähigkeit.David Sacks (DavidSacks)⁸ Mistral-Chef Arthur Mensch wies die Prämisse für Unternehmen rundheraus zurück: „Drosselt nicht den Aufbau und Besitz eigener KI-Modelle und -Systeme als Unternehmen.“Arthur Mensch (arthurmensch)⁹

Die Spaltung ist nun deutlich: Die Labore sagen, Vorsicht verschaffe Zeit, KI kontrollierbar zu machen; Skeptiker sagen, echte Vorsicht beginne damit, dass die Unternehmen die Kontrolle ausüben, die sie bereits besitzen.