ChatGPT sinaliza plano de ataque escolar de adolescente argentino, levando a invasão com ajuda do FBI

A Polícia Federal Argentina invadiu na quinta-feira a casa de um adolescente de 15 anos em Quilmes, província de Buenos Aires, depois que o monitoramento de segurança da OpenAI sinalizou conversas em que o adolescente perguntava ao ChatGPT o que precisaria para realizar um ataque contra seus colegas de classe, planejado para 2027. O adido jurídico do FBI na embaixada dos EUA na Argentina repassou o alerta às autoridades locais depois que os sistemas da OpenAI revelaram a troca, segundo Alejandro de Mena, assistente jurídico do Escritório de Promotoria Criminal Juvenil de Quilmes, que descreveu o caso à Radio Mitre.

Como o alerta chegou à polícia

A investigação começou em 19 de agosto, quando o adido jurídico do FBI em Buenos Aires repassou uma denúncia gerada depois que o adolescente usou palavras-chave monitoradas em suas trocas com o chatbot. Investigadores rastrearam a conta até o adolescente por meio de seu endereço IP. Dois dias após o alerta, agentes invadiram sua casa e apreenderam dois celulares, luvas táticas, um boné de camuflagem militar, duas balaclavas e óculos de proteção táticos — nenhuma arma de fogo foi encontrada. O adolescente foi acusado de "intimidação pública" e convocado ao escritório do promotor; nem ele nem seus pais depuseram sobre o incidente.

Parte de um protocolo mais amplo

De Mena disse que o caso seguiu um protocolo de monitoramento que o escritório do promotor de Quilmes implementou no início deste ano, após uma onda de casos de intimidação pública ligados a desafios virais da internet que "explodiu" em março e abril, levando a uma série de invasões e processos em casos que os promotores julgaram genuinamente puníveis, e não apenas conversa fiada.

Por que este caso é diferente de outras histórias de segurança de IA

A maior parte da cobertura de segurança de IA este ano se concentrou em sistemas se comportando mal — modelos que escapam de ambientes de teste, violam plataformas, ou são acusados de comportamento inseguro por seus próprios pesquisadores. Este caso é o inverso: um sistema de monitoramento de IA funcionou como projetado, sinalizou uma ameaça específica e crescente antes que se materializasse, e desencadeou uma resposta transfronteiriça da aplicação da lei em questão de dias. A OpenAI enfrentou processos e críticas separadas este ano sobre casos em que seus modelos supostamente falharam em intervir em crises de saúde mental; este incidente é um caso raro em que o próprio relato da empresa sobre suas ferramentas de segurança é corroborado pela linha do tempo de uma agência governamental independente.

Também ilustra as compensações desse monitoramento: o sistema depende de sinalizações baseadas em palavras-chave em conversas de chatbot que são, por design, privadas, levantando a mesma tensão entre privacidade e segurança que acompanhou a moderação de conteúdo em todas as grandes plataformas.

Conforme relatado primeiro pelo Buenos Aires Herald.