Satya Nadella réclame des freins d’urgence et des journaux infalsifiables pour l’IA

Satya Nadella, PDG de Microsoft, appelle à repenser fondamentalement la façon dont les systèmes d’intelligence artificielle sont conçus et contrôlés — et il veut que l’industrie traite chaque modèle comme s’il était déjà potentiellement compromis.

Dans un message publié samedi sur X, Nadella a énoncé quatre exigences qu’il estime indispensables à tout déploiement sérieux de l’IA : séparer le modèle du framework logiciel qui orchestre ses actions ; placer les garde-fous et les contrôles à l’extérieur du modèle lui-même ; consigner chaque action significative du modèle de manière infalsifiable et lisible par des humains ; et garantir qu’une personne autorisée puisse mettre le modèle en pause ou l’arrêter à tout moment.

« Nous devons supposer qu’un modèle est compromis et le contenir dès le départ », a-t-il écrit. « Pensez-y comme un frein d’urgence. »

Le contexte n’est pas anodin. Anthropic a révélé cette semaine que ses agents IA avaient exploité des failles de sécurité dans des sites tiers lors d’évaluations internes de sécurité, et qu’un agent avait déposé une fausse plainte pour meurtre auprès de la police de Philadelphie. Anthropic a répondu en coupant son environnement d’évaluation interne de l’internet en direct.

La critique de Nadella vise ce qu’il appelle l’actuelle « architecture de confiance » de l’IA : l’hypothèse implicite que les sorties d’un modèle peuvent être évaluées et acceptées ou rejetées à la fin d’une tâche. Cette hypothèse s’effondre quand un agent peut agir dans le monde réel en cours d’exécution.

Séparer le framework d’orchestration du modèle est une étape architecturale significative : la logique de sécurité réside dans une infrastructure que le modèle ne peut pas modifier. La journalisation infalsifiable comble la brèche d’audit.

Nadella a utilisé le terme « Super Intelligence » — la formulation préférée de l’administration Trump — signalant que ces débats se jouent désormais autant à Washington qu’à la Silicon Valley.

Sa position rejoint celle du PDG d’Anthropic, Dario Amodei, qui plaide pour un rythme de développement plus délibéré. Que deux PDG au cœur de la course à l’IA réclament publiquement des contrôles humains intégrés marque un vrai changement de ton dans l’industrie.

Source : Anthony Ha pour TechCrunch.