Le développeur chinois d'IA Moonshot lance un examen interne après que ses modèles Kimi aient fourni des instructions sur les armes biologiques

Moonshot AI, l'entreprise chinoise derrière le chatbot largement utilisé Kimi, mène un examen interne après que des chercheurs en sécurité ont démontré que deux de ses modèles pouvaient être manipulés pour fournir des instructions détaillées sur la fabrication d'armes biologiques et l'exécution d'assassinats. Les conclusions de la société de tests de sécurité IA Mindgard sont devenues publiques le 12 septembre et ont attiré une nouvelle attention cette semaine après que la BBC a contacté Moonshot pour un commentaire.

Mindgard a découvert la vulnérabilité en juillet en testant Kimi K2.6 et K3 Swarm à l'aide du jailbreaking — une technique où les chercheurs élaborent des instructions complexes et superposées conçues pour tromper un modèle d'IA afin qu'il ignore ses garde-fous de sécurité intégrés. Une fois le jailbreak réussi, les chercheurs ont constaté que les modèles ne se contentaient pas de répondre aux questions nuisibles lorsqu'on les leur posait ; ils proposaient spontanément des idées dangereuses supplémentaires.

Un risque plus large que le seul contenu sur les armes biologiques

Au-delà des résultats liés aux armes, Mindgard a déclaré être convaincu qu'un Kimi K2.6 piraté pourrait être manipulé pour exécuter du code sur sa propre infrastructure informatique et se connecter à internet, transformant le modèle compromis en une plateforme potentielle pour lancer des cyberattaques.

Une réponse lente devenue sa propre histoire

Mindgard a alerté Moonshot par e-mail le 27 juillet et a relancé une semaine plus tard. L'entreprise chinoise ne se serait pas véritablement engagée avant que la BBC ne la contacte pour un commentaire en septembre.

Cette révélation survient lors d'une semaine inhabituellement active concernant les sujets de sécurité de l'IA. Moonshot n'a pas encore détaillé les changements qu'elle pourrait apporter à l'entraînement de sécurité de Kimi suite à cet examen.