OpenAI lança classificador gratuito de CSAM desenvolvido com o NCMEC que reduz falsos positivos pela metade

A OpenAI lançou no domingo um conjunto de ferramentas de proteção infantil, incluindo um novo classificador de imagens projetado para detectar material de abuso sexual infantil (CSAM) — incluindo imagens geradas por IA — e um sistema de avisos no ChatGPT que suspende temporariamente contas de usuários que tentem gerar ou acessar esse tipo de conteúdo.
O classificador, co-desenvolvido com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), está sendo disponibilizado gratuitamente pela API da OpenAI para organizações selecionadas que atuam na área de segurança de conteúdo. Nos testes iniciais com parceiros, o classificador sinalizou 48% menos imagens para revisão mantendo a mesma taxa de detecção. As imagens sinalizadas tinham o dobro de probabilidade de conter abuso.
Avisos e suspensões no ChatGPT
Usuários que tentem acessar esse tipo de conteúdo receberão um alerta e serão redirecionados para recursos de apoio especializados. Sua conta será suspensa por 24 horas. Infrações repetidas podem resultar em remoção permanente.
Contexto: pressão crescente sobre empresas de IA
O lançamento ocorre enquanto a OpenAI enfrenta várias ações judiciais relacionadas a possíveis danos a menores. Representa uma mudança das salvaguardas internas para uma infraestrutura que outras organizações podem integrar.
Publicado originalmente por TechCrunch. Leia o artigo original para mais detalhes.
Ver fonte original