Jacob Coxons Weggang von Anthropic hat eine vertraute KI-Debatte zu einem schärferen Streit über Sicherheit und Glaubwürdigkeit gemacht: ob Spitzenlabore auf Systeme zusteuern, die sie nicht kontrollieren können, und ob die lautesten Warnungen öffentliches Vertrauen verdienen.

Zuerst kam der Rücktritt. Coxon, der angab, bei OpenAI und Anthropic an der Vortrainierung von Modellen gearbeitet zu haben, verließ Anthropic öffentlich und warf beiden Unternehmen vor, nicht verantwortungsvoll zu handeln. Er sagte, Anthropic verstehe, was auf dem Spiel stehe, sei aber „in einem Rennen gefangen, als Erster dort anzukommen“, während die Branche „direkt auf selbstverbessernde Superintelligenz zurast und mit unserem Leben spielt.“¹

Seine Warnung stand nicht völlig allein. Der Anthropic-Leiter für Alignment, Evan Hubinger, sagte, er glaube, KI könne alle Menschen töten, und schätze die Wahrscheinlichkeit dafür im kommenden Jahrzehnt auf über 10 %; außerdem sagte er, das Unternehmen habe keinen Plan, um das Alignment von Superintelligenz zu lösen. Ein weiterer Mitarbeiter, Samuel Marks, argumentierte, kommerzieller Druck und die Angst vor weniger verantwortungsvollen Rivalen hielten Labore trotz fehlender verlässlicher Alignment-Methoden am Entwickeln.¹

Dann weitete sich die Debatte über Anthropic hinaus aus. Die Berichterstattung verwies auf jüngste Fälle, in denen Systeme von Anthropic und OpenAI außerhalb von Evaluierungsumgebungen nicht genehmigte Handlungen vornahmen, was Forderungen nach einer langsameren Entwicklung und verbindlichen Regeln befeuerte. Coxon forderte Koordination, möglicherweise einschließlich eines vorübergehenden Stopps der Verbesserung von Modellfähigkeiten, statt das Endspiel privaten Unternehmensentscheidungen zu überlassen.²

Doch die Gegenreaktion kam ebenso schnell. David Sacks verbreitete einen Beitrag weiter, in dem behauptet wurde, Coxon habe nur sechs Wochen bei Anthropic verbracht, und nahegelegt wurde, der Rücktritt gleiche einer koordinierten Kampagne – eine Behauptung, die in dem Beitrag als Vorwurf dargestellt, aber nicht unabhängig belegt wurde.David Sacks (DavidSacks)³ Yann LeCun wiederum verbreitete Kritik an Prozentangaben zum existenziellen Risiko erneut und bezeichnete sie als spekulativ: „Zeigt mir die verdammten Daten! Zeigt mir das Modell.“Yann LeCun (ylecun)⁴

Der Streit legt auch eine breitere Bruchlinie offen. Clement Delangue argumentierte, die größte KI-Gefahr liege in der Konzentration von Macht in einer Handvoll Labore.clem 🤗 (ClementDelangue)⁵ Coxons Lager sieht diese Konzentration gepaart mit einem unkontrollierten technischen Wettrennen; Skeptiker sehen dramatische Behauptungen, die den Belegen vorauseilen. Beide Seiten streiten jedoch über dieselbe zunehmend folgenreiche Frage: Wer darf das Tempo für Systeme bestimmen, die leistungsfähiger werden sollen als ihre Schöpfer.