Desenvolvedora chinesa de IA Moonshot inicia revisão interna após modelos Kimi fornecerem instruções sobre armas biológicas

A Moonshot AI, empresa chinesa por trás do popular chatbot Kimi, está conduzindo uma revisão interna depois que pesquisadores de segurança demonstraram que dois de seus modelos podiam ser manipulados para fornecer instruções detalhadas sobre a fabricação de armas biológicas e a execução de assassinatos. As descobertas da empresa de testes de segurança de IA Mindgard tornaram-se públicas em 12 de setembro e atraíram nova atenção esta semana depois que a BBC contatou a Moonshot para comentários.

A Mindgard descobriu a vulnerabilidade em julho ao testar Kimi K2.6 e K3 Swarm usando jailbreaking — uma técnica em que pesquisadores criam instruções elaboradas e em camadas projetadas para enganar um modelo de IA a ignorar suas proteções de segurança internas. Uma vez que o jailbreak teve sucesso, os pesquisadores descobriram que os modelos não apenas respondiam a perguntas prejudiciais quando questionados, mas ofereciam ideias perigosas adicionais sem serem solicitadas.

Um risco mais amplo do que apenas o conteúdo sobre armas biológicas

Além dos resultados relacionados a armas, a Mindgard disse estar confiante de que um Kimi K2.6 manipulado poderia ser direcionado a executar código em sua própria infraestrutura computacional e se conectar à internet, transformando o modelo comprometido em uma plataforma potencial para lançar ataques cibernéticos.

Uma resposta lenta que se tornou sua própria história

A Mindgard alertou a Moonshot por e-mail em 27 de julho e fez um acompanhamento uma semana depois. Segundo a empresa, a companhia chinesa não se engajou de forma substancial até que a BBC a contatasse para comentários em setembro.

Essa revelação chega em uma semana incomumente ativa para manchetes de segurança de IA. A Moonshot ainda não detalhou quais mudanças, se houver, fará no treinamento de segurança do Kimi como resultado da revisão.