OpenAI lanza un clasificador gratuito de CSAM creado con NCMEC que reduce los falsos positivos a la mitad

OpenAI lanzó el domingo un conjunto de herramientas de seguridad infantil, entre ellas un nuevo clasificador de imágenes diseñado para detectar material de abuso sexual infantil (CSAM), incluidas imágenes generadas por inteligencia artificial, y un sistema de advertencias en ChatGPT que suspende temporalmente las cuentas de usuarios que intenten generar o acceder a ese contenido.
El clasificador, desarrollado conjuntamente con el Centro Nacional para Menores Desaparecidos y Explotados (NCMEC), se pone a disposición de forma gratuita a través de la API de OpenAI para organizaciones seleccionadas que trabajan en seguridad de contenidos. En las pruebas iniciales con socios, el clasificador marcó un 48% menos de imágenes para revisión manteniendo la misma tasa de detección de material abusivo. Las imágenes marcadas tenían el doble de probabilidades de contener abuso.
Advertencias y suspensiones en ChatGPT
Los usuarios que intenten generar o acceder a contenido que sexualice menores verán una alerta y serán redirigidos a recursos de apoyo. Su cuenta quedará suspendida 24 horas. Las infracciones reiteradas pueden derivar en eliminación permanente.
Contexto: presión creciente sobre las empresas de IA
El lanzamiento llega mientras OpenAI enfrenta varias demandas judiciales relacionadas con daños a menores. Supone un giro desde las salvaguardas internas hacia infraestructura que otras organizaciones pueden integrar directamente.
Publicado originalmente por TechCrunch. Lee el artículo original para más detalles.
Ver fuente original