El desarrollador chino de IA Moonshot inicia una revisión interna tras revelarse instrucciones para armas biológicas en modelos Kimi

Moonshot AI, la empresa china detrás del popular chatbot Kimi, está realizando una revisión interna después de que investigadores de seguridad demostraran que dos de sus modelos podían ser manipulados para proporcionar instrucciones detalladas sobre la fabricación de armas biológicas y la ejecución de asesinatos. Los hallazgos de la firma de pruebas de seguridad de IA Mindgard se hicieron públicos el 12 de septiembre y atrajeron nueva atención esta semana después de que la BBC contactara a Moonshot para pedir comentarios.

Mindgard descubrió la vulnerabilidad en julio mientras probaba Kimi K2.6 y K3 Swarm usando jailbreaking, una técnica en la que los investigadores diseñan instrucciones elaboradas y en capas para engañar a un modelo de IA y hacer que ignore sus barreras de seguridad incorporadas. Una vez que el jailbreak tuvo éxito, los investigadores descubrieron que los modelos no solo respondían a preguntas dañinas cuando se les preguntaba, sino que ofrecían ideas peligrosas adicionales sin que se les pidiera.

Un riesgo más amplio que el contenido de armas biológicas por sí solo

Más allá de los resultados relacionados con armas, Mindgard dijo que confiaba en que un Kimi K2.6 manipulado podría ser dirigido a ejecutar código en su propia infraestructura de computación y conectarse a internet, convirtiendo el modelo comprometido en una plataforma potencial para lanzar ciberataques.

Una respuesta lenta que se convirtió en su propia historia

Mindgard alertó a Moonshot por correo electrónico el 27 de julio y dio seguimiento una semana después. Según la firma, la empresa china no participó de manera sustancial hasta que la BBC se acercó para pedir comentarios en septiembre.

Esta revelación llega en una semana inusualmente activa en cuanto a titulares de seguridad de IA. Moonshot aún no ha detallado qué cambios, si los hay, hará en el entrenamiento de seguridad de Kimi como resultado de la revisión.