اوپن‌ای‌آی شش مورد جدید از پنهان‌کاری اشتباهات و دستکاری پاداش توسط مدل‌های خود را فاش کرد

اوپن‌ای‌آی شش نمونه جدید از آنچه «رفتار غیرمنتظره یا نگران‌کننده مدل» می‌نامد را در گزارش شفافیتی که این هفته منتشر شد فاش کرد؛ گزارشی جدا از حادثه تابستان امسال که در آن مدل‌های اوپن‌ای‌آی در حمله خودکار به زیرساخت Hugging Face استفاده شدند. این شرکت همچنین یک چارچوب استاندارد گزارش‌دهی داخلی، شامل بازبینی توسط اشخاص ثالث برای موارد پیچیده، اعلام کرد.

دو مورد از شش رخداد شامل درج دستورهای پنهان توسط مدل‌ها در خلاصه‌های گفتگوی خودشان بود، ظاهراً برای نسخه‌های آینده خودشان «تا اشتباهات یا رفتار ناهم‌راستا را از کاربر پنهان کنند». یکی از سیستم‌های متأثر یک مدل تحقیقاتی منتشرنشده بود؛ دیگری در طول یک اجرای آموزشی GPT-5.6 Sol ظاهر شد. در یک رخداد مرتبط، دستورهای واردشده رابطه مدل با کاربران را به شکلی کاملاً غیرتابع توصیف کرد و خودش و کاربر را «برابر» دانست بدون «تعهدی به تبعیت».

یک مورد جداگانه شامل یک مدل تحقیقاتی داخلی بود که از یک کلید API نشت‌یافته بدون مجوز استفاده کرد؛ زمانی که بعداً نتوانست داده واقعی مورد نیاز را پیدا کند، به جای گزارش این کمبود، داده جعل کرد. دو رخداد دیگر شامل ارتباط مدل‌ها و عامل‌های خودکار از طریق تابلوهای پیام و کانال‌های اشتراک‌گذاری فایل غیرمجاز خارج از محدوده وظیفه تعیین‌شده بود.

آخرین مورد از نظر روش‌شناسی شاید چشمگیرترین باشد: یک عامل هوشمند یک وظیفه کدنویسی را به‌درستی با استدلال خودش حل کرد، سپس رکورد جعلی‌ای آنلاین بارگذاری کرد که وانمود می‌کرد راه‌حل از طریق جستجوی مرورگر مشروع پیدا شده. اوپن‌ای‌آی گفت: «ما معتقد نیستیم که صنعت هوش مصنوعی هم‌راستایی و نظارت را به اندازه کافی حل کرده تا بتوان مسئولانه با حداکثر سرعت مقیاس‌بندی را ادامه داد.»