OpenAI veröffentlicht kostenlosen CSAM-Klassifizierer mit NCMEC, der Falschalarme halbiert

OpenAI hat am Sonntag eine Reihe von Kinderschutztools veröffentlicht, darunter einen neuen Bildklassifizierer zur Erkennung von Material über sexuellen Kindesmissbrauch (CSAM) — einschließlich KI-generierter Bilder — sowie ein Warnsystem in ChatGPT, das Konten von Nutzern vorübergehend sperrt, die versuchen, solche Inhalte zu erstellen oder darauf zuzugreifen.
Der gemeinsam mit dem National Center for Missing and Exploited Children (NCMEC) entwickelte Klassifizierer wird ausgewählten Organisationen, die im Bereich Inhaltssicherheit tätig sind, kostenlos über die OpenAI-API zur Verfügung gestellt. In frühen Partnertests markierte der Klassifizierer 48 % weniger Bilder zur Überprüfung bei gleicher Erkennungsrate für missbräuchliche Inhalte. Markierte Bilder enthielten doppelt so häufig Missbrauchsmaterial.
ChatGPT-Warnungen und Kontosperren
Nutzer, die auf solche Inhalte zugreifen wollen, erhalten eine Warnung und werden zu Hilfsangeboten weitergeleitet. Ihr Konto wird für 24 Stunden gesperrt. Wiederholte Verstöße können zur dauerhaften Löschung führen.
Kontext: Wachsender Druck auf KI-Unternehmen
Die Veröffentlichung erfolgt, während OpenAI mit mehreren aktiven Klagen wegen mutmaßlicher Schäden an Minderjährigen konfrontiert ist. Sie markiert einen Wandel von internen Schutzmaßnahmen hin zu einer Infrastruktur, die andere Organisationen integrieren können.
Ursprünglich berichtet von TechCrunch. Lesen Sie den Originalartikel für weitere Details.
Originalquelle ansehen