Story
September 19, 2026

KI-Sicherheitswächter fordern Unabhängigkeit von den Laboren, die sie prüfen

KI-Sicherheitsevaluatoren argumentieren, dass Zugang zu Spitzenlaboren ohne Unabhängigkeit und Schutz vor Vergeltung wenig bedeute, während ihre Kritiker das entstehende Wächter-System als anfällig für ideologische Vereinnahmung betrachten. Im Streit geht es nicht darum, ob mächtige Modelle einer Prüfung bedürfen, sondern darum, wer diese glaubwürdig leisten kann.

Die Debatte nahm Fahrt auf, nachdem der Anthropic-Chef Dario Amodei vorgeschlagen hatte, externen Sicherheitsevaluatoren einen mit dem von Mitarbeitenden vergleichbaren Zugang zur Entwicklung von Spitzenmodellen zu gewähren – ein Ansatz, den OpenAI-Chef Sam Altman und andere Branchenvertreter unterstützt haben. Für Evaluatoren ist Zugang jedoch nur das Einstiegsangebot: Sie sagen, ein Prüfer, der von dem überprüften Unternehmen ausgewählt, bezahlt oder eingeschränkt wird, könne keine wirksame Kontrolle ausüben.

Am Freitag legten das AI Evaluator Forum und mehr als 100 Unterzeichner, darunter Geoffrey Hinton und Stuart Russell, ihre Mindestbedingungen dar. Ihr Schreiben fordert für Evaluatoren „wissenschaftliche Objektivität, Transparenz, Unabhängigkeit und robuste Schutzvorkehrungen“ gegen Einflussnahme sowie Zugang zu sensiblen Systemen, Daten, Werkzeugen und Mitarbeitenden, der dem interner Prüfer vergleichbar ist. Conrad Stosz, der Vorsitzende des Forums, sagte, ein solcher Zugang könne es Prüfern ermöglichen, unveröffentlichte Systeme und interne Daten zu untersuchen, und der Öffentlichkeit mehr Vertrauen in Risiken geben, die die Labore möglicherweise nicht selbst offenlegen.

Das Modell der Koalition ist bewusst anspruchsvoller als ein wohlwollendes Audit. Sie will mehrere Evaluatoren mit unterschiedlicher Expertise, direkte Kommunikation mit Vorständen, begrenzte Geheimhaltungsvorgaben und das Recht, Erkenntnisse nach gezielten, zeitlich begrenzten Schwärzungen zu veröffentlichen. Außerdem besteht sie darauf, dass Wächter vor Vergeltungsklagen oder Finanzierungskürzungen geschützt werden, wenn ihre Schlussfolgerungen ein Gastgeberunternehmen in Verlegenheit bringen. Microsoft-Chef Satya Nadella hat das Konzept eingebetteter Evaluatoren begrüßt, wie aus Berichten über das Schreiben hervorgeht.

Doch der Plan hat unmittelbar ein zweites Rechenschaftsproblem offengelegt: Wer überwacht die Wächter? David Sacks verbreitete einen Angriff der New York Post weiter, in dem der mutmaßliche Wächter von Anthropic als „handverlesen“ und mit der Bewegung des Effektiven Altruismus verbunden beschrieben wurde, und nannte die Vereinbarung „einen völligen Witz“. In einem separaten Repost hob er Naval Ravikants Alternative hervor: „Der beste Weg, die Entwicklung an der Spitze zu steuern, besteht darin, die Labore vollständig für das Verhalten ihrer Modelle haftbar zu machen.“

Damit tritt die zentrale Konfliktlinie deutlich hervor. Die Evaluatoren stellen sich nicht als Ersatz für interne Sicherheitsarbeit oder umfassendere Aufsicht dar; sie wollen ein geschütztes Fenster in die Labore. Ihre Kritiker befürchten, dieses Fenster könnte lediglich ein weiteres nicht rechenschaftspflichtiges Machtzentrum installieren.