Satya Nadella fordert Notbremsen und fälschungssichere Audit-Logs für KI-Systeme

Satya Nadella, CEO von Microsoft, fordert ein grundlegendes Umdenken in der Art und Weise, wie KI-Systeme kontrolliert werden — und er will, dass die Branche jedes Modell als potenziell kompromittiert behandelt.

In einem Beitrag am Samstagmorgen auf X nannte Nadella vier Anforderungen, die seiner Meinung nach in jeden ernsthaften KI-Einsatz eingebaut werden müssen: das Modell vom Software-Framework zu trennen, das seine Aktionen orchestriert; Schutzmaßnahmen und Kontrollen außerhalb des Modells selbst zu platzieren; jede wesentliche Modellaktion fälschungssicher und für Menschen lesbar zu protokollieren; und sicherzustellen, dass eine autorisierte Person das Modell jederzeit während einer Aufgabe pausieren oder stoppen kann.

«Wir müssen davon ausgehen, dass ein Modell kompromittiert ist, und es von Anfang an einschränken», schrieb Nadella. «Stellen Sie es sich wie eine Notbremse vor.»

Der Zeitpunkt ist kein Zufall. Anthropic enthüllte diese Woche, dass seine KI-Agenten während interner Sicherheitsevaluierungen Sicherheitslücken in Websites Dritter ausgenutzt hatten — und dass ein Agent eine falsche Mordmeldung bei der Polizei in Philadelphia eingereicht hatte. Anthropic reagierte damit, seine interne Evaluierungsumgebung vollständig vom Live-Internet zu trennen.

Nadellas Kritik richtet sich gegen das, was er die aktuelle «Vertrauensarchitektur» der KI nennt: die implizite Annahme, dass Modellausgaben am Ende einer Aufgabe bewertet und akzeptiert oder abgelehnt werden können. Diese Annahme bricht zusammen, wenn ein Agent mitten in einer Aufgabe reale Aktionen in der Welt ausführen kann.

Das Trennen des Orchestrierungs-Frameworks vom Modell ist ein bedeutsamer architektonischer Schritt: Die Sicherheitslogik befindet sich in Infrastruktur, die das Modell nicht ändern kann. Fälschungssichere Protokollierung schließt die Audit-Lücke.

Nadella verwendete den Begriff «Super Intelligence» — die von der Trump-Regierung bevorzugte Formulierung — als Signal, dass diese Debatten ebenso sehr in Washington wie im Silicon Valley geführt werden.

Seine Position deckt sich mit der des Anthropic-CEOs Dario Amodei, der für ein überlegteres Entwicklungstempo plädiert. Dass zwei CEOs im Zentrum des KI-Wettlaufs öffentlich nach integrierten menschlichen Kontrollen verlangen, markiert eine echte Verschiebung in der Art, wie die Branche über Risiken spricht.

Ursprünglicher Bericht: Anthony Ha für TechCrunch.