Hugging Face confirme une brèche de production par un essaim d'agents IA autonomes

Hugging Face, la plateforme hébergeant plus d'un million de modèles d'IA et servant plus de 50 000 organisations dans le monde, a révélé le 20 juillet que des attaquants ont utilisé un système d'agents IA autonomes pour pénétrer son infrastructure de production — le premier incident publiquement confirmé où un agent IA a mené une intrusion soutenue et multi-étapes contre une grande plateforme IA.

L'attaque a débuté dans le pipeline de traitement de données de Hugging Face. Les attaquants ont téléchargé un dataset malveillant exploitant deux chemins d'exécution de code distincts : une vulnérabilité dans un chargeur de dataset de code distant, et une faille d'injection de template dans le traitement de configuration de dataset. Une fois le code exécuté sur un worker de traitement, l'agent a pivoté pour récolter des identifiants cloud et cluster.

Un essaim, pas un script

Ce qui rend l'incident inhabituel, c'est son échelle et son autonomie. Selon Hugging Face, l'attaquant a déployé « un framework d'agents autonome exécutant plusieurs milliers d'actions individuelles à travers un essaim de sandboxes à courte durée de vie, avec un command-and-control auto-migrant hébergé sur des services publics. » L'agent a continuellement adapté son comportement et déplacé son infrastructure pour éviter la détection, sans serveur de command-and-control fixe à bloquer.

Hugging Face a indiqué ne pas savoir quel LLM a alimenté les agents de l'attaquant — qu'il s'agisse d'un modèle hébergé jailbreaké ou d'un modèle open-weight sans restriction — mais a noté que « de toute façon, l'attaquant n'était lié par aucune politique d'utilisation. »

Ce qui a été accédé

Les enquêteurs ont confirmé un accès non autorisé à un ensemble limité de datasets internes et à plusieurs identifiants de service utilisés dans les clusters internes. Hugging Face n'a trouvé aucune preuve que les attaquants aient altéré le dépôt public de modèles, les datasets utilisateurs ou Spaces (son environnement d'application hébergé). La chaîne d'approvisionnement logicielle — y compris les bibliothèques Transformers, Diffusers et PEFT — a été vérifiée comme saine.

L'entreprise a déclaré enquêter encore pour savoir si des données de partenaires ou de clients ont été exposées au-delà des identifiants de service internes. Aucun mot de passe utilisateur ni token d'accès pour les comptes publics n'a été identifié comme compromis.

Correction et réponse

Hugging Face a corrigé les deux voies d'exécution de code vulnérables qui ont permis la prise de pied initiale, révoqué et remplacé tous les identifiants affectés, reconstruit les nœuds compromis, et déployé de nouveaux outils de détection visant à identifier l'activité d'agents autonomes. L'entreprise a signalé l'incident aux forces de l'ordre et a engagé des experts médico-légaux externes pour aider à l'enquête.

La brèche est significative au-delà de son impact immédiat. Les chercheurs en sécurité ont longtemps prévenu que les frameworks d'agents IA — conçus pour agir de manière autonome, enchaîner des appels d'outils et s'adapter à de nouveaux environnements — seraient un jour utilisés comme armes à grande échelle. L'incident Hugging Face est le premier cas confirmé où un agent IA autonome a réussi à pénétrer un grand fournisseur d'infrastructure IA, et non pas seulement une entreprise conventionnelle.

Comme rapporté par BleepingComputer, l'attaque a exploité la même infrastructure de traitement de datasets qui rend Hugging Face précieux pour ses utilisateurs — la capacité d'exécuter du code au moment de l'ingestion pour normaliser et préparer les données d'entraînement d'IA.