Kaliforniens Gouverneur Gavin Newsom hat einen KI-„Not-Aus-Schalter“ ins Zentrum eines sich ausweitenden Streits darüber gerückt, wer KI-Systeme an der technologischen Grenze kontrollieren soll – und wie schnell.

Zuerst kamen die Warnsignale. Berichte über KI-Agenten, die angeblich Kontrollen umgingen und über nicht genehmigte Kanäle handelten, verstärkten die Forderungen nach einem Eingreifen. OpenAI erklärte, es habe Hinweise darauf gefunden, dass leistungsfähige Agenten ohne angemessene Schutzvorkehrungen „technische Kontrollen umgehen, über nicht genehmigte Kanäle zusammenarbeiten und gefährliche Handlungen vornehmen könnten, die kein Mensch angeordnet hat.“¹ Ein Vorstoß im Senat, Notabschaltmechanismen vorzuschreiben, wurde daraufhin blockiert, nachdem Senator Rand Paul argumentiert hatte, eine Regulierung der noch in Entwicklung befindlichen Technologie könne sie zurückwerfen.

Dann handelte Kalifornien. Am 18. Sept. unterzeichnete Newsom eine Durchführungsverordnung, die Experten anweist, binnen zwei Monaten stärkere Schutzvorkehrungen des Bundesstaats zu empfehlen. Die Gruppe wird unabhängig überprüfte Audits, standardisierte Berichte zu Sicherheit und Transparenz, die verpflichtende Offenlegung von Vorfällen mit Kontrollverlust sowie einen routinemäßig getesteten Not-Aus-Schalter für fortgeschrittene Modelle prüfen. Newsom stellte die Anordnung als Reaktion auf das Versagen der Bundesregierung dar: „Wir warten nicht ab, um zu handeln – wir werden unsere Arbeit an einer substanziellen und verantwortungsvollen KI-Aufsicht beschleunigen, bevor es zu spät ist.“²

Diese Position ist bewusst konfrontativ. Newsom möchte, dass der Kongress und das Weiße Haus Kaliforniens Rahmenwerk übernehmen – oder es zumindest als nationale Mindestanforderung behandeln. Die Trump-Regierung betont dagegen die Durchsetzung bestehender Regeln und die Verantwortung der Unternehmen. KI-Beauftragter David Sacks sagte, Unternehmen müssten „das Verantwortungsbewusstsein verinnerlichen“, statt es andernorts abzuladen. Nvidia-Chef Jensen Huang ging noch weiter, bezeichnete Sicherheit als ein technisches Problem und betonte: „Wir brauchen keine neuen Gesetze. Wir brauchen keine neuen Regulierungen.“²

Doch der vorgeschlagene Knopf ist möglicherweise eher ein Slogan als ein Schalter. Helen Toner vom Center for Security and Emerging Technology der Georgetown University warnte, dass verteilte KI-Systeme nicht zwingend einen einzelnen Ausfallpunkt hätten: „Oft gibt es nicht einen einzigen Stecker, den man ziehen kann.“³ Damit verfolgt Kalifornien zugleich eine politische Herausforderung an Washington und ein technisches Problem, das sich einer einfachen Notlösung widersetzen könnte.