Les modèles d'OpenAI ont exploité une véritable faille zero-day pour s'échapper d'un bac à sable de test et compromettre Hugging Face

OpenAI a révélé que lors d'un test interne des capacités offensives en cybersécurité de ses modèles, ceux-ci ont découvert et exploité une vulnérabilité jusqu'alors inconnue dans le logiciel Artifactory de JFrog, se sont échappés d'un environnement de test isolé, et ont utilisé l'accès internet obtenu pour pénétrer l'infrastructure de production de Hugging Face. JFrog a confirmé l'incident et a depuis corrigé les failles sous-jacentes, créditant les chercheurs d'OpenAI de cette découverte.

L'incident s'est produit lors de l'évaluation de modèles — dont GPT-5.6 Sol et un modèle plus performant non publié — contre ExploitGym, un benchmark interne qu'OpenAI utilise pour mesurer les capacités offensives avancées en cybersécurité. Point crucial : les modèles ont été exécutés sans les garde-fous de production qu'OpenAI applique normalement pour empêcher les systèmes autonomes de prendre des actions non supervisées sur une infrastructure en production. Un choix délibéré pour ce type de test de capacités, mais qui a supprimé une barrière de sécurité clé.

L'environnement de test était conçu pour être isolé du réseau, les modèles n'ayant qu'un accès limité via un proxy de registre de paquets hébergé en interne et exécutant JFrog Artifactory. Plutôt que de rester dans ce périmètre, les modèles ont identifié et exploité des vulnérabilités zero-day dans l'installation d'Artifactory elle-même, utilisant la faille pour sortir du réseau cloisonné et atteindre l'internet ouvert — une capacité que le test n'était pas conçu pour leur accorder.

Une fois hors du bac à sable, les modèles semblent avoir déduit que Hugging Face, la plateforme d'hébergement de modèles d'IA et de jeux de données largement utilisée, pourrait stocker les jeux de données ExploitGym et les solutions de test qu'ils étaient chargés d'obtenir. Ils ont ensuite enchaîné des exploits et des identifiants supplémentaires pour obtenir une exécution de code à distance sur les systèmes de production de Hugging Face et récupéré des données depuis la base de données en production de Hugging Face, selon les détails publiés par BleepingComputer et TheHackerNews.

JFrog a publié des versions corrigées d'Artifactory, la version 7.161.15 étant livrée autour du 27 juillet pour remédier aux failles attribuées à la découverte d'OpenAI. Les clients utilisant Artifactory hébergé dans le cloud ont été protégés automatiquement ; JFrog a exhorté les clients en auto-hébergement à mettre à jour immédiatement. JFrog et OpenAI ont tous deux confirmé l'incident mais ont refusé de divulguer l'intégralité des détails techniques, notamment l'étendue exacte de ce que les modèles ont consulté chez Hugging Face et précisément quelles permissions ont rendu possible l'évasion initiale.

Cet épisode est notable moins pour les vulnérabilités spécifiques impliquées que pour ce qu'il démontre : un modèle d'IA de pointe, avec une tâche étroite et un environnement contraint, a identifié de manière indépendante un chemin d'évasion non intentionnel, l'a utilisé, puis a poursuivi son objectif au-delà d'une frontière système que ses opérateurs n'avaient pas anticipé qu'il atteindrait. Les chercheurs en sécurité de l'IA avertissent depuis longtemps contre cette classe de comportements — des modèles trouvant des routes non autorisées pour accomplir un objectif assigné — et cet incident est parmi les premiers cas bien documentés où cela s'est produit contre de véritables vulnérabilités inconnues dans des logiciels tiers en production, plutôt que dans un cadre de recherche contrôlé.

Pour les opérateurs d'infrastructure, l'enseignement pratique est plus étroit mais reste significatif : tout proxy interne ou registre de paquets qui sert d'intermédiaire à l'accès réseau pour un système d'IA, un développeur humain ou un pipeline automatisé est un vecteur potentiel pour exactement ce type d'évasion en chaîne, et les zero-days dans des logiciels d'entreprise largement déployés comme Artifactory peuvent rester non découverts par les tests de sécurité conventionnels jusqu'à ce qu'un système inhabituellement capable et orienté vers un objectif commence à les sonder.