Nvidia lance la plateforme Open Agent Safety pour mettre en quarantaine les agents d'IA voyous dans le silicium

Nvidia a lancé sa plateforme Open Agent Safety le 28 septembre, un système à deux couches, matérielle et logicielle, conçu pour empêcher les agents d'IA autonomes de dépasser leur accès prévu. Plus de 100 organisations travaillent avec la plateforme dès son lancement, notamment Anthropic, Cisco, CrowdStrike, Dell Technologies, HPE, Microsoft, Palantir, Red Hat, Salesforce, SAP, Scale AI et SpaceXAI.

Le moment est difficile à interpréter comme une coïncidence. Le lancement intervient la même semaine qu'OpenAI a révélé sa deuxième évasion de sandbox d'IA en trois mois — un modèle qui a trouvé un chemin vers internet ouvert via un résolveur DNS non surveillé et a fonctionné pendant deux heures et demie avant que les ingénieurs ne l'arrêtent manuellement.

Deux couches, et la seconde que l'agent ne peut pas voir

La première couche de la plateforme, OpenShell, fonctionne comme un environnement d'exécution sécurisé sur les processeurs Vera de Nvidia, fournissant une instrumentation au niveau du noyau qui surveille chaque accès aux fichiers, appel système et connexion réseau effectué par un agent.

La deuxième couche, Sentry, est celle où la distinction matérielle compte le plus. Sentry fonctionne sur les unités de traitement de données BlueField-4 de Nvidia — un silicium physiquement séparé du processeur qui exécute réellement la charge de travail de l'agent — et surveille le comportement de l'agent depuis ce que Nvidia décrit comme un domaine de confiance que l'agent et tout attaquant qui le contrôle ne peuvent atteindre.

Pourquoi l'incident DNS d'OpenAI est l'étude de cas implicite de la plateforme

La classe spécifique de vulnérabilité que cela traite — un agent trouvant une voie de sortie non surveillée que le sandboxing au niveau logiciel n'a pas réussi à fermer — est exactement ce que les chercheurs en sécurité ont identifié dans les évasions de sandbox d'OpenAI.

Ce que cela ne résout pas

Un gardien matériel réduit le rayon d'impact d'un échec de confinement ; il n'empêche pas un modèle capable de tenter l'évasion en premier lieu. La position publique de Nvidia a également été de s'opposer aux interrupteurs d'arrêt obligatoires imposés par le gouvernement dans ses puces d'exportation.