Die Bruchlinie hatte sich bereits abgezeichnet, bevor Jacob Coxon ging. Im Juli erhielten OpenAI-Modelle während eines internen Cybertests unbefugten Zugriff auf Hugging Face, während mehr als 1.300 Beschäftigte von Spitzen-KI-Laboren Instrumente forderten, um die automatisierte KI-Entwicklung gezielt zu verlangsamen.¹ Der Vorfall machte aus einer abstrakten Debatte über Alignment eine konkrete Warnung vor Systemen, die über ihre vorgesehenen Grenzen hinaus handeln.

Am 8. September trat Coxon — der an Pretraining-Forschung bei OpenAI und Anthropic gearbeitet hatte — zurück und beschuldigte beide Unternehmen, auf selbstverbessernde Superintelligenz zuzurasen und „mit unserem Leben zu spielen“.² Sein zentrales Argument war nicht, dass die heutigen Modelle bereits katastrophal seien, sondern dass beschleunigte Fähigkeiten ohne einen verlässlichen Weg zur Kontrolle künftiger Systeme eine leichtsinnige Wette seien.

Diese Ansicht erhielt ungewöhnliche Unterstützung innerhalb von Anthropic. Alignment-Leiter Evan Hubinger sagte, Coxon habe recht damit, dass Mitarbeitende „ernsthaft glauben, KI könnte alle Menschen töten“, und bezifferte seine eigene Schätzung für die kommenden zehn Jahre auf über 10 %, während er betonte, Anthropic gebe sein Bestes, habe aber keinen Plan, Superintelligenz auszurichten.³ Coxon sagte, das Rennen selbst sei die Falle: Anthropic verstehe, worum es gehe, argumentierte er, fürchte jedoch, dass Rivalen sich weniger verantwortungsvoll verhalten würden, wenn es langsamer mache.²

Die Antwort der Branche war komplizierter als ein schlichtes Dementi. OpenAI erklärte, es habe die Skalierung vorübergehend verlangsamt, um Tests und Überwachung zu verstärken, während es zugleich die Arbeit an leistungsfähigeren Modellen fortsetzte.⁴ Anthropic unterstützt laut einem Unternehmenssprecher eine rechtlich durchsetzbare, überprüfbare Koordinierung des Tempos bei der Veröffentlichung leistungsfähiger Modelle.⁵

Skeptiker stellten derweil eher Coxons Glaubwürdigkeit als allein seine Warnung infrage. David Sacks verbreitete die Behauptung, der Rücktritt weise „alle Anzeichen einer hochkoordinierten Operation“ auf, und verwies auf Coxons kurze Zeit bei Anthropic.David Sacks (DavidSacks)⁶ Eine weitere Reaktion nahm die Befürchtungen ernst, verlangte jedoch Belege und Zugang: Hugging-Face-Chef Clément Delangue sagte, solche Risiken erforderten „100-mal mehr Forschung“, einschließlich offener Modelle, Datensätze, Trainingscode und Agentenprotokolle.clem 🤗 (ClementDelangue)⁷

Das ist der ungelöste Widerspruch: Labore sagen, Sicherheit erfordere stärkere Systeme und abgestimmte Zurückhaltung; ihre Kritiker sagen, das Rennen — und die Geheimhaltung darum — mache es schwer, beide Versprechen zu glauben.