Hugging Face bestätigt Produktionsverstoß durch autonomen KI-Agenten-Schwarm

Hugging Face, die Plattform, die mehr als 1 Million KI-Modelle hostet und weltweit über 50.000 Organisationen bedient, gab am 20. Juli bekannt, dass Angreifer ein autonomes KI-Agentensystem genutzt haben, um in seine Produktionsinfrastruktur einzudringen – der erste öffentlich bestätigte Vorfall, bei dem ein KI-Agent eine anhaltende, mehrstufige Intrusion gegen eine große KI-Plattform durchgeführt hat.

Der Angriff begann innerhalb der eigenen Datenverarbeitungspipeline von Hugging Face. Die Angreifer luden einen bösartigen Datensatz hoch, der zwei separate Code-Execution-Pfade ausnutzte: eine Schwachstelle in einem Remote-Code-Dataset-Loader und einen Template-Injection-Fehler bei der Verarbeitung von Dataset-Konfigurationen. Sobald der Code auf einem Processing Worker ausgeführt wurde, wechselte der Agent dazu, Cloud- und Cluster-Anmeldedaten zu ernten.

Ein Schwarm, kein Skript

Was den Vorfall ungewöhnlich machte, war sein Umfang und seine Autonomie. Laut Hugging Face setzte der Angreifer "ein autonomes Agenten-Framework ein, das viele tausend Einzelaktionen über einen Schwarm kurzlebiger Sandboxen ausführte, mit selbst migrierender Command-and-Control, die auf öffentlichen Diensten bereitgestellt wurde." Der Agent passte sein Verhalten kontinuierlich an und verlegte seine Infrastruktur, um der Erkennung zu entgehen, ohne einen festen Command-and-Control-Server, den man blockieren konnte.

Hugging Face gab an, nicht zu wissen, welches Large Language Model die Agenten des Angreifers antrieb – ob ein jailbrokenes gehostetes Modell oder ein uneingeschränktes Open-Weight-Modell –, merkte aber an, dass "der Angreifer in beiden Fällen an keine Usage Policy gebunden war."

Was wurde abgerufen

Ermittler bestätigten unbefugten Zugriff auf eine begrenzte Anzahl interner Datensätze sowie auf mehrere Service-Anmeldedaten, die über interne Cluster verwendet wurden. Hugging Face fand keine Hinweise darauf, dass Angreifer das öffentlich zugängliche Modell-Repository, Benutzerdatensätze oder Spaces (seine gehostete Anwendungsumgebung) manipuliert hätten. Die Software-Supply-Chain – einschließlich der Bibliotheken Transformers, Diffusers und PEFT – wurde als sauber überprüft.

Das Unternehmen erklärte, es untersuche noch, ob Partner- oder Kundendaten über die internen Service-Anmeldedaten hinaus offengelegt wurden. Es wurden keine Benutzerpasswörter oder Access Tokens für öffentliche Konten als kompromittiert identifiziert.

Abhilfe und Reaktion

Hugging Face schloss beide anfälligen Code-Execution-Pfade, die den ersten Zugriff ermöglichten, widerrief und rotierte alle betroffenen Anmeldedaten, baute die kompromittierten Knoten neu auf und setzte neue Erkennungstools ein, die darauf abzielen, autonome Agentenaktivitäten zu identifizieren. Das Unternehmen meldete den Vorfall den Strafverfolgungsbehörden und beauftragte externe Forensik-Experten, die bei der Untersuchung helfen sollten.

Der Verstoß ist über seine unmittelbaren Auswirkungen hinaus bedeutsam. Sicherheitsforscher haben lange davor gewarnt, dass KI-Agenten-Frameworks – die für autonomes Handeln, Verkettung von Tool Calls und Anpassung an neue Umgebungen konzipiert sind – irgendwann in großem Maßstab als Waffen eingesetzt würden. Der Hugging Face-Vorfall ist der erste bestätigte Fall, in dem ein autonomer KI-Agent erfolgreich einen großen KI-Infrastrukturanbieter infiltriert hat – nicht nur ein herkömmliches Unternehmensziel.

Wie von BleepingComputer berichtet, nutzte der Angriff dieselbe Dataset-Processing-Infrastruktur aus, die Hugging Face für seine Benutzer wertvoll macht – die Möglichkeit, zur Aufnahmezeit Code auszuführen, um KI-Trainingsdaten zu normalisieren und vorzubereiten.