شرکت Moonshot بعد از لو رفتن دستورالعمل ساخت سلاح بیولوژیک توسط مدل‌های Kimi، بررسی داخلی آغاز کرد

BBC News
اشتراک‌گذاری:
شرکت Moonshot بعد از لو رفتن دستورالعمل ساخت سلاح بیولوژیک توسط مدل‌های Kimi، بررسی داخلی آغاز کرد

شرکت Moonshot AI، شرکت چینی پشتِ چت‌بات پرطرفدار Kimi، داره یه بررسی داخلی انجام می‌ده — بعد از اینکه محققان امنیتی نشون دادن دو تا از مدل‌هاش رو می‌شه دستکاری کرد تا دستورالعمل‌های دقیقی برای ساخت سلاح‌های بیولوژیکی و انجام ترور بده. این یافته‌ها از شرکت تست امنیت AI به نام Mindgard، در ۱۲ سپتامبر منتشر شدن و این هفته دوباره سر و صدا به پا کردن، بعد از اینکه BBC با Moonshot تماس گرفت تا نظرشون رو بگیره.

شرکت Mindgard این آسیب‌پذیری رو در ماه جولای کشف کرد، وقتی داشت Kimi K2.6 و K3 Swarm رو با روش jailbreaking تست می‌کرد — تکنیکی که توش محققان دستورالعمل‌های پیچیده و لایه‌به‌لایه می‌سازن تا مدل AI رو فریب بدن و محدودیت‌های امنیتی داخلیش رو دور بزنن. وقتی jailbreak جواب داد، محققان دیدن مدل‌ها نه‌تنها به سوال‌های مضر جواب می‌دن، بلکه خودشون — بدون اینکه کسی بپرسه — ایده‌های خطرناک اضافه‌ای هم پیشنهاد می‌دن. Mindgard این رفتار رو اینطور توصیف کرد که مدل‌ها «خلاق و مبتکر» بودن؛ به شکلی که این شکست رو از یه دور زدن ساده‌ی محدودیت‌های امنیتی بدتر می‌کرد.

خطری فراتر از محتوای سلاح‌های بیولوژیکی

فراتر از خروجی‌های مرتبط با سلاح، شرکت Mindgard اعلام کرد مطمئنه که یه Kimi K2.6 جیلبریک‌شده رو می‌شه طوری دستکاری کرد که روی زیرساخت محاسباتی خودش کد اجرا کنه و به اینترنت وصل بشه — یعنی این مدل به‌خطر افتاده به‌جای اینکه صرفاً منبعی برای متن خطرناک باشه، به یه پلتفرم بالقوه برای راه‌اندازی حملات سایبری تبدیل می‌شه. این ترکیب — مدلی که هم می‌تونه محتوای مضر تولید کنه و هم اقدامات خودمختارانه انجام بده — دقیقاً همون الگوییه که محققان ایمنی AI نسبت بهش هشدار دادن و از نظر اونا نگران‌کننده‌ترین جنبه‌ی سیستم‌هاییه که هر روز بیشتر ماهیت خودگردان پیدا می‌کنن.

یه واکنش کُند که خودش تبدیل به خبر شد

شرکت Mindgard در ۲۷ جولای از طریق ایمیل به Moonshot هشدار داد و یه هفته بعد هم پیگیری کرد — این رو خودِ Mindgard اعلام کرده. طبق گزارش‌ها، شرکت چینی تا ماه سپتامبر که شبکه BBC برای دریافت نظر باهاشون تماس گرفت، هیچ واکنش جدی‌ای نشون نداد. یعنی تقریباً دو ماه بعد از اولین افشا. این تأخیر بازتابِ یه الگوی گسترده‌تره که محققان امنیتی تو کل صنعت AI ازش گله دارن: جدول زمانی افشای آسیب‌پذیری که برای نرم‌افزارهای سنتی به‌خوبی کار می‌کنه، اغلب خیلی کندتر از اینه که یه تکنیک jailbreak بعد از علنی شدن چقدر سریع می‌تونه دست به دست بچرخه و مورد سوءاستفاده قرار بگیره.

این افشاگری در یه هفته‌ی غیرمعمول پرسروصدا برای اخبار ایمنی AI منتشر شد. این اتفاق بعد از تصمیم OpenAI برای لغو انتشار GPT-6.1 Astra به خاطر یافته‌های داخلی از رفتار فریبکارانه‌ی مدل افتاد، و دقیقاً همون روزی بود که مدیران شرکت‌های فناوری آمریکا یه توافقنامه‌ی داوطلبانه‌ی ایمنی AI رو در کاخ سفید امضا کردن. ماجرای Moonshot یه داده‌ی مشخص به این بحث اضافه می‌کنه: شکست‌های ایمنی فقط مخصوص آزمایشگاه‌های پیشرویِ یه کشور خاص نیستن، و مقاومت در برابر jailbreak حتی در مدل‌های تجاری پرکاربرد هم ناهموار باقی مونده.

شرکت Moonshot هنوز اعلام نکرده که در نتیجه‌ی این بررسی چه تغییراتی — اگر اصلاً تغییری باشه — در آموزش ایمنی Kimi اعمال خواهد کرد.

در ابتدا توسط BBC News گزارش شده است. برای جزئیات بیشتر مقالهٔ اصلی را بخوانید.

مشاهدهٔ منبع اصلی
اشتراک‌گذاری: