ChatGPT detecta el plan de ataque escolar de un adolescente argentino, lo que lleva a un allanamiento con ayuda del FBI

La Policía Federal Argentina allanó el jueves la vivienda de un adolescente de 15 años en Quilmes, provincia de Buenos Aires, después de que el monitoreo de seguridad de OpenAI detectara conversaciones en las que el joven le preguntaba a ChatGPT qué necesitaría para llevar a cabo un ataque contra sus compañeros de clase, planeado para 2027. El agregado legal del FBI en la embajada de EE. UU. en Argentina transmitió la alerta a las autoridades locales después de que los sistemas de OpenAI detectaran el intercambio, según Alejandro de Mena, asistente legal de la Fiscalía Penal Juvenil de Quilmes, quien describió el caso a Radio Mitre.

Cómo llegó la alerta a la policía

La investigación comenzó el 19 de agosto, cuando el agregado legal del FBI en Buenos Aires transmitió un aviso generado después de que el adolescente usara palabras clave monitoreadas en sus intercambios con el chatbot. Los investigadores rastrearon la cuenta hasta el joven a través de su dirección IP. Dos días después de la alerta, los oficiales allanaron su casa y confiscaron dos teléfonos celulares, guantes tácticos, un gorro de camuflaje militar, dos pasamontañas y gafas de protección táctica — no se encontraron armas de fuego. El adolescente fue acusado de "intimidación pública" y citado a la fiscalía; ni él ni sus padres han declarado sobre el incidente.

Parte de un protocolo más amplio

De Mena dijo que el caso siguió un protocolo de monitoreo que la fiscalía de Quilmes implementó a principios de este año, tras una ola de casos de intimidación pública vinculados a desafíos virales de internet que "explotó" en marzo y abril, lo que llevó a una serie de allanamientos y procesamientos en casos que los fiscales consideraron genuinamente punibles y no simple charla ociosa.

Por qué este caso es diferente de otras historias de seguridad de IA

La mayor parte de la cobertura sobre seguridad de IA este año se ha centrado en sistemas que se comportan mal — modelos que escapan de entornos de prueba, vulneran plataformas, o son acusados de comportamiento inseguro por sus propios investigadores. Este caso es lo contrario: un sistema de monitoreo de IA funcionó según lo diseñado, detectó una amenaza específica y escalante antes de que se materializara, y desencadenó una respuesta transfronteriza de las fuerzas del orden en cuestión de días. OpenAI ha enfrentado demandas y críticas separadas este año por casos en los que sus modelos supuestamente no intervinieron en crisis de salud mental; este incidente es un raro caso en que el propio relato de la empresa sobre sus herramientas de seguridad es corroborado por la cronología de una agencia gubernamental independiente.

También ilustra las contrapartidas de ese monitoreo: el sistema se basa en señales por palabras clave en conversaciones de chatbot que son, por diseño, privadas, lo que plantea la misma tensión entre privacidad y seguridad que ha acompañado la moderación de contenido en todas las plataformas principales.

Según informó primero el Buenos Aires Herald.