OpenAI ابزار رایگان شناسایی CSAM را با NCMEC راهاندازی کرد و خطاهای مثبت کاذب را نصف کرد

OpenAI در روز یکشنبه مجموعهای از ابزارهای حفاظت از کودکان را منتشر کرد که شامل یک طبقهبند تصویر جدید برای شناسایی محتوای سوءاستفاده جنسی از کودکان (CSAM) — از جمله تصاویر تولیدشده توسط هوش مصنوعی — و یک سیستم هشدار در ChatGPT میشود که حسابهای کاربرانی را که تلاش میکنند چنین محتوایی تولید یا به آن دسترسی پیدا کنند، بهطور موقت تعلیق میکند.
این طبقهبند که با همکاری مرکز ملی کودکان مفقود و مورد سوءاستفاده (NCMEC) توسعه یافته، از طریق API شرکت OpenAI بهصورت رایگان در اختیار شرکتهای منتخب فعال در حوزه ایمنی محتوا قرار میگیرد. این ابزار با تحلیل نشانههای بصری در تصاویری که پیشتر ندیده، امتیاز ریسکی به هر تصویر اختصاص میدهد تا بازبینان انسانی صف انتظار خود را اولویتبندی کنند.
در آزمایشهای اولیه با شرکا، این طبقهبند ۴۸ درصد تصاویر کمتری را برای بررسی علامتگذاری کرد در حالی که همان تعداد تصاویر سوءاستفادهآمیز را شناسایی نمود. تصاویری که علامتگذاری شدند دو برابر بیشتر احتمال داشتند حاوی محتوای سوءاستفاده باشند — بهبودی معنادار در کارایی بازبینان در زمانی که حجم CSAM تولیدشده توسط هوش مصنوعی بهسرعت در حال رشد است.
هشدارها و تعلیق حساب در ChatGPT
در کنار طبقهبند، OpenAI اقدامات بازدارنده جدیدی در ChatGPT پیادهسازی میکند. کاربرانی که تلاش کنند محتوای مجنسنگارانه از کودکان تولید یا به آن دسترسی پیدا کنند، یک هشدار مشاهده میکنند و به منابع پشتیبانی تخصصی هدایت میشوند. حساب آنها به مدت ۲۴ ساعت تعلیق میشود. تخلفات مکرر میتواند به حذف دائمی منجر شود.
دستورالعملهای توسعهدهنده و ابزارهای اجرای قانون
OpenAI همچنین دستورالعملهای بهروزشدهای برای توسعهدهندگانی که بر پلتفرم آن میسازند منتشر کرد و ابزارها و آموزشهایی برای بازرسان اجرای قانون فراهم آورد.
فشار روزافزون بر شرکتهای هوش مصنوعی
این انتشار در شرایطی است که OpenAI با چندین دعوای قضایی فعال مرتبط با آسیب احتمالی به کودکان مواجه است. این اقدام نشاندهنده تحولی از حفاظهای داخلی به سمت زیرساختهایی است که سایر سازمانها میتوانند از آنها بهرهمند شوند.
در ابتدا توسط TechCrunch گزارش شده است. برای جزئیات بیشتر مقالهٔ اصلی را بخوانید.
مشاهدهٔ منبع اصلی