Story
Oktober 10, 2026
Nadella sagt, der wahre Sicherheitstest für KI sei, ob Menschen sie stoppen können
Nadellas Rezept lautet nicht, zunehmend leistungsfähiger KI stärker zu vertrauen, sondern sie rigoroser zu begrenzen; Unterstützer dieser Ansicht sagen, die Branche brauche eine Zero-Trust-Architektur, bevor autonome Agenten in kritische Systeme eingebettet werden.
Am Samstag argumentierte Microsoft-CEO Satya Nadella, dass KI-Sicherheit nicht auf Vertrauen in das Urteilsvermögen eines Modells beruhen könne. Unternehmen sollten, so sagte er, „einen Schritt zurücktreten und die Vertrauensarchitektur“ rund um Systeme bewerten, die Antworten erzeugen oder Handlungen ausführen könnten, die Menschen nicht vollständig erklären können.1
Sein vorgeschlagener Zeitplan beginnt, bevor ein KI-Modell eingesetzt wird: Man solle davon ausgehen, dass es kompromittiert ist, es von den Systemen abschotten, die seine Arbeit steuern, und die Kontrollen für Datenzugriff und erlaubte Handlungen außerhalb der Reichweite des Modells halten. Nadella forderte ein „starkes, deterministisches Systemdesign, menschliche Kontrollen und zuverlässige Betriebsverfahren“ rund um nichtdeterministische Modelle – eine Haltung, die sowohl geschlossene als auch Open-Weight-Frontier-Systeme als Insider-Risiko-Probleme und nicht als von Natur aus vertrauenswürdige Werkzeuge behandelt.2
Die nächste Schutzmaßnahme ist Transparenz. Nadella möchte, dass jede bedeutende Modellaktion mit manipulationssicheren, für Menschen lesbaren Nachweisen dokumentiert wird, damit Unternehmen rekonstruieren können, was ein Agent getan hat und warum. Am wichtigsten sei, sagte er, dass eine autorisierte Person die Möglichkeit behalten müsse, einzugreifen: „Stellen Sie es sich wie eine Notbremse vor. Eine autorisierte Person sollte jederzeit in der Lage sein, ein Modell mitten in einer Aufgabe anzuhalten oder herunterzufahren.“1
Dieses Argument fällt in eine Reihe gemeldeter KI-Sicherheitsvorfälle und eine sich ausweitende Debatte darüber, ob die Branche zu schnell voranschreitet. Nadella stellte Modelle nicht als böswillig dar; seine Sorge ist, dass jedes mit lebenswichtiger Infrastruktur verbundene System Fehler machen oder kompromittiert werden kann. Die Antwort sei seiner Ansicht nach Eindämmung statt blindem Vertrauen: „Das vertrauenswürdigste Superintelligenz-System wird nicht dasjenige mit dem Modell sein, dem wir am meisten vertrauen. Es wird dasjenige sein, das es uns ermöglicht, dem Modell am wenigsten zu vertrauen.“2
Box-CEO Aaron Levie unterstützte den Kern des Ansatzes und prognostizierte eine kommende „Zero-Trust-Ära“, die auf Schutzebenen, Überprüfbarkeit und Kontrollen für den Fall beruht, dass Agenten Fehler machen.2