ChatGPT signale le projet d'attaque scolaire d'un adolescent argentin, menant à une perquisition avec l'aide du FBI

La police fédérale argentine a perquisitionné jeudi le domicile d'un adolescent de 15 ans à Quilmes, dans la province de Buenos Aires, après que le système de surveillance de sécurité d'OpenAI a signalé des conversations dans lesquelles l'adolescent demandait à ChatGPT ce dont il aurait besoin pour mener une attaque contre ses camarades de classe, prévue pour 2027. L'attaché juridique du FBI à l'ambassade des États-Unis en Argentine a transmis l'alerte aux autorités locales après que les systèmes d'OpenAI ont révélé cet échange, selon Alejandro de Mena, assistant juridique du bureau du procureur pénal des mineurs de Quilmes, qui a décrit l'affaire à Radio Mitre.

Comment l'alerte est parvenue à la police

L'enquête a commencé le 19 août, lorsque l'attaché juridique du FBI à Buenos Aires a transmis un signalement généré après que l'adolescent a utilisé des mots-clés surveillés dans ses échanges avec le chatbot. Les enquêteurs ont retracé le compte jusqu'à l'adolescent grâce à son adresse IP. Deux jours après l'alerte, des agents ont perquisitionné son domicile et saisi deux téléphones portables, des gants tactiques, un chapeau de camouflage militaire, deux cagoules et des lunettes de protection tactiques — aucune arme à feu n'a été trouvée. L'adolescent a été inculpé pour "intimidation publique" et convoqué au bureau du procureur ; ni lui ni ses parents n'ont témoigné sur l'incident.

Partie d'un protocole plus large

De Mena a déclaré que l'affaire suivait un protocole de surveillance mis en place par le bureau du procureur de Quilmes plus tôt cette année, après qu'une vague de cas d'intimidation publique liés à des défis viraux sur internet a "explosé" en mars et avril, entraînant une série de perquisitions et de poursuites dans des cas que les procureurs ont jugés véritablement répréhensibles plutôt que de simples paroles en l'air.

Pourquoi cette affaire diffère des autres histoires de sécurité de l'IA

La plupart de la couverture de la sécurité de l'IA cette année s'est concentrée sur des systèmes qui se comportent mal — des modèles qui s'échappent d'environnements de test, violent des plateformes, ou sont accusés de comportement dangereux par leurs propres chercheurs. Cette affaire est l'inverse : un système de surveillance de l'IA a fonctionné comme prévu, a signalé une menace spécifique et croissante avant qu'elle ne se concrétise, et a déclenché une réponse transfrontalière des forces de l'ordre en l'espace de quelques jours. OpenAI a fait face à des poursuites et des critiques distinctes cette année concernant des cas où ses modèles auraient prétendument échoué à intervenir lors de crises de santé mentale ; cet incident est un cas rare où le récit de l'entreprise sur ses propres outils de sécurité est corroboré par la chronologie d'une agence gouvernementale indépendante.

Cela illustre également les compromis de cette surveillance : le système repose sur des signalements basés sur des mots-clés dans des conversations de chatbot qui sont, par conception, privées, soulevant la même tension entre vie privée et sécurité qui a accompagné la modération de contenu sur toutes les grandes plateformes.

Comme l'a rapporté en premier le Buenos Aires Herald.