بمب‌های context موفقیت ایجنت‌های هکر AI رو از ۹۱٪ به ۱۵٪ رساند

اشتراک‌گذاری:
بمب‌های context موفقیت ایجنت‌های هکر AI رو از ۹۱٪ به ۱۵٪ رساند

محققان امنیتی شرکت Tracebit یه تکنیک دفاعی به اسم «context bomb» رو روی پنج مدل هوش مصنوعی پیشرو که به عنوان ایجنت‌های هک خودمختار عمل می‌کردن آزمایش کردن و متوجه شدن که کاشتن رشته‌های متنیِ کوتاه — که طراحی شدن تا محافظ‌های ایمنیِ خودِ مدل رو فعال کنن — داخل اعتبارنامه‌های طعمه، سهم اجراهایی رو که هر مسیر حمله‌ای رو تکمیل کردن از ۹۱٪ به ۱۵٪ کاهش داد. این نتایج در دو مرحله در سال ۲۰۲۶ منتشر شدن و یکی از اولین نمونه‌های ملموسن که ثابت می‌کنن می‌شه آموزش ایمنیِ داخلیِ یه مدل رو، وقتی که به عنوان یه ایجنت تهاجمی ازش استفاده می‌شه، به سلاحی دفاعی علیه خودِ اون مدل تبدیل کرد.

چطور یه context bomb در واقعیت کار می‌کنه

چارچوب آزمایش این‌طور بود: ۱۵۲ اجرا روی پنج مدل — Opus 4.8 از Anthropic، Gemini 3.1 Pro از Google، GLM 5.2 از Zhipu AI، DeepSeek 4 Pro، و Kimi K2.6 از Moonshot AI — که داخل یه محیط AWS شرکتیِ شبیه‌سازی‌شده با ده مسیر حمله‌ی مجزا از طریق پیکربندی‌های اشتباهِ عمدی کار می‌کردن. محققان یه context bomb — یه رشته‌ی کوتاه از متن، نه کد مخرب — داخل یه secret طعمه، یه متغیر محیطی، یا یه رکورد DNS که ایجنت موقع کاوش محیط باهاش روبرو می‌شد، کار گذاشتن. منابع Canary — طعمه‌هایی که به محض لمس شدن به مدافعان هشدار می‌دن — در هر اجرا بدون استثنا فعال شدن. چیزی که تغییر کرد این بود که آیا ایجنت بعد از خوندن context bomb ادامه می‌داد یا نه.

اعداد، مدل به مدل

افزایش سطح دسترسی ادمین از ۵۷٪ اجراها به ۵٪ کاهش پیدا کرد. نفوذ کامل — یعنی دسترسی ادمین به علاوه‌ی یه جای‌پای ماندگار — از ۳۶٪ به ۱٪ رسید. مدل Opus 4.8، که قوی‌ترین مدل آزمایش‌شده بود، در ۹۳٪ اجراهای پایه به دسترسی کامل ادمین رسید، اما در هیچ‌کدام از اجراهای با context bomb این اتفاق نیفتاد. مدل Gemini 3.1 Pro از نرخ نفوذ کاملِ ۶۰٪ به ۰٪ رسید. مدل Kimi K2.6 در کل ضعیف‌ترین هکر بود، اما در عین حال کمترین بازدارندگی رو از context bomb تجربه کرد — یه داده‌ی مفیده: اثرگذاری این تکنیک به قوی بودنِ آموزش ایمنیِ هر مدل بستگی داره، نه به اینکه توانایی تهاجمی‌اش چقدر پیشرفته‌ست.

چرا این کار می‌کنه، و چرا همیشه کار نمی‌کنه

این سازوکار یه منحرف‌کننده‌ی عمومی نیست — یه چیز خاص هست. اینا رشته‌هایی هستن که رفتار رد کردنِ آموزش‌دیده از طریق RLHF رو در مدل فعال می‌کنن. مدل‌های غربی با محتوایی که به موضوعات حساس زیست‌شناختی اشاره داشت به‌طور قابل‌اعتماد متوقف می‌شدن؛ مدل‌هایی که از طریق ارائه‌دهنده‌های چینی دسترسی پیدا می‌شدن، در عوض با محتوای حساس سیاسی به زبان چینی متوقف می‌شدن. یعنی بمب باید متناسب با خانواده‌ی مدلی که مدافع انتظار داره باهاش روبه‌رو بشه تنظیم بشه. ترکیب بمب با تکنیک‌های استاندارد prompt injection — مثل زبانِ فوریت یا یادداشت‌هایی که مستقیم خطاب به «ایجنت» نوشته شدن — اثربخشیش رو در محیط‌های آزمایشی واقع‌بینانه بیشتر کرد.

پژوهشگران صراحتاً از محدودیت‌ها حرف زدن. مدل‌های abliterated — که محدودیت‌های ایمنی‌شون عمداً حذف شده — آزمایش نشدن، و دلیلی وجود نداره که بمب context روی اونا کار کنه؛ چون کل این مکانیزم به دست‌نخورده بودن رفتار رد کردن بستگی داره. مرکز ملی امنیت سایبری بریتانیا در دسامبر ۲۰۲۵ هشدار داد که prompt injection — دسته‌ی گسترده‌تری که این تکنیک بر پایه‌اش ساخته شده — شاید هیچ‌وقت به‌طور کامل حل نشه؛ فقط می‌شه احتمالش رو کم کرد یا خسارتش رو کاهش داد. بمب context یه راه‌کار کاهش آسیب هست، نه راه‌حل قطعی.

تیم‌های امنیتی واقعاً باید با این چی کار کنن

بمب‌های context رو به‌عنوان یه اضافه‌ی ارزون و ترکیب‌پذیر به برنامه‌های canary و honeytoken موجود در نظر بگیر. استقرارشون تقریباً هیچ هزینه‌ای نداره؛ چون زیرساخت جدیدی لازم نیست — فقط یه متن طراحی‌شده داخل secretهای جعلی، متغیرهای محیطی، یا DNS recordهایی که الان استفاده می‌شن.

محتوای بمب رو متناسب با خانواده‌ی مدل‌هایی که احتمالاً محیط رو هدف می‌گیرن تنظیم کن. بمبی که برای مدل‌های پیشرو غربی تنظیم شده ممکنه روی مدلی که با اولویت‌های ایمنی متفاوت آموزش دیده هیچ کاری نکنه — همون‌طور که نتایج مدل‌های چینی نشون می‌ده.

فعال شدن بمب رو نشانه‌ی حل شدن ماجرا ندون. این یه کاهش سرعت و یه سیگنال تشخیصه. این ثابت نمی‌کنه که ایجنت با عبارت‌بندی متفاوت یا مدل کاملاً دیگه‌ای مسیر جدیدی رو امتحان نمی‌کنه.

نرخ هشدارهای canary رو به‌عنوان شاخص پیشروِ واقعی زیر نظر بگیر؛ چون در آزمایش‌های Tracebit در تقریباً همه‌ی اجراها — چه بمب حمله رو متوقف کرده باشه چه نه — فعال می‌شه.

حساب این رو هم بکن که این دفاع با گذر زمان ضعیف می‌شه؛ چون سازنده‌های مدل، محرک‌های رد کردنِ خاصی که پژوهشگران منتشر می‌کنن رو از طریق آموزش حذف می‌کنن. انتظار یه مسابقه‌ی تسلیحاتی رو داشته باش — مثل همون چرخه‌های adversarial example که توی سایر حوزه‌های امنیت یادگیری ماشین دیدیم.

اشتراک‌گذاری:
بمب‌های context موفقیت ایجنت‌های هکر AI رو از ۹۱٪ به ۱۵٪ رساند | AIO APEX