OpenAI lance un classifieur CSAM gratuit développé avec le NCMEC qui réduit de moitié les faux positifs

OpenAI a lancé dimanche une série d'outils de protection de l'enfance, dont un nouveau classifieur d'images conçu pour détecter les contenus pédopornographiques (CSAM) — y compris les images générées par l'IA — et un système d'avertissements dans ChatGPT qui suspend temporairement les comptes des utilisateurs tentant de générer ou d'accéder à ces contenus.
Le classifieur, co-développé avec le Centre national pour les enfants disparus et exploités (NCMEC), est mis à disposition gratuitement via l'API d'OpenAI pour des organisations sélectionnées travaillant dans la sécurité des contenus. Lors des tests pilotes, il a signalé 48 % d'images en moins pour révision tout en identifiant le même nombre d'images abusives. Les images signalées étaient deux fois plus susceptibles de contenir des abus.
Avertissements et suspensions dans ChatGPT
Les utilisateurs qui tentent d'accéder à ces contenus voient une alerte et sont redirigés vers des ressources d'aide spécialisées. Leur compte est suspendu 24 heures. Des infractions répétées peuvent entraîner une suppression permanente.
Contexte : pression croissante sur les entreprises d'IA
Cette annonce intervient alors qu'OpenAI fait face à plusieurs poursuites judiciaires liées à des préjudices présumés causés à des mineurs. Elle marque un passage des garde-fous internes vers une infrastructure que d'autres organisations peuvent intégrer.
Initialement rapporté par TechCrunch. Lisez l'article original pour plus de détails.
Voir la source originale