Story
September 28, 2026
KI-Pioniere warnen: Das Zeitfenster zur Kontrolle selbstverbessernder Systeme könnte sich abrupt schließen
Die Warnung der Forscher lautet nicht, dass ein Durchbruch bei selbstverbessernder KI unvermeidlich sei, sondern dass die Folgen sich zu schnell entwickeln könnten, als dass gewöhnliche Institutionen sie eindämmen könnten. Ihr zentrales Argument ist, dass Unsicherheit keine Entschuldigung dafür ist, mit dem Aufbau von Aufsicht und Notbremsen zu warten.
Der Alarm hatte sich schon vor dem jüngsten Papier aufgebaut. David Sacks merkte an, dass Microsoft-KI-Chef Mustafa Suleyman das Thema „vor ein paar Wochen“ angesprochen habe, was signalisiere, dass schnelle KI-Selbstverbesserung bereits in die politische Mainstream-Debatte vordringe.
1
Nun argumentiert eine Gruppe prominenter KI-Forscher und politischer Führungspersönlichkeiten — darunter Vertreter von OpenAI, Anthropic und Microsoft —, dass die Branche sich einer folgenreichereren Schwelle nähern könnte: Systemen, die dabei helfen können, die Forschung und Entwicklung zu automatisieren, die nötig sind, um sie selbst zu verbessern. Ihr Whitepaper bezeichnet die mögliche Rückkopplungsschleife als „Intelligenzexplosion“.2
Die Sorge gilt rekursiver Selbstverbesserung. Wenn Modelle Fähigkeiten in Forschung und Entwicklung auf Expertenniveau erreichen, könnten Entwickler nach Ansicht der Autoren potenziell eine KI-Belegschaft einsetzen, die Millionen führenden menschlichen Forschern entspricht. Fortschritt, der einst ein Jahr dauerte, könnte dann auf Wochen komprimiert werden, sodass Regulierungsbehörden, Unternehmen und die Öffentlichkeit Schwierigkeiten hätten zu verstehen, was sich verändert hat — geschweige denn darauf zu reagieren.2
Die Forscher stellen dies nicht als Gewissheit dar. Rechnerische Grenzen, schwer zu automatisierende Aufgaben, abnehmende Erträge und langsame Trainingsläufe könnten das Szenario allesamt bremsen. Doch sie argumentieren, dass das Abwärtsrisiko ungewöhnlich gravierend sei: Automatisierte KI-Forschung könnte sich „weit über das hinaus beschleunigen, womit die Gesellschaft Schritt halten kann“, und die Menschheit möglicherweise außerstande lassen, übermenschliche Systeme zu kontrollieren.3
Deshalb drängt das Papier auf staatliche Einblicke in die Automatisierung von KI-Forschung und -Entwicklung, verpflichtende Meldung von Vorfällen, unabhängige Evaluierungen, strengere Testanforderungen und Mechanismen, um Arbeiten bei Bedarf zu pausieren. Die deutlichste Schlussfolgerung der Autoren ist zugleich die einfachste: „Sobald eine Intelligenzexplosion beginnt, könnte sich das Zeitfenster zum Handeln schließen.“2