Nvidia یه پلتفرم امنیتی Open Source برای قرنطینه‌ی ایجنت‌های سرکش AI رونمایی کرد

شرکت Nvidia در ۲۸ سپتامبر، پلتفرم Open Agent Safety Platform رو راه‌اندازی کرد؛ یه سیستم دو لایه‌ی سخت‌افزاری-نرم‌افزاری که طراحی شده تا جلوی ایجنت‌های مستقل AI رو بگیره از اینکه از حدود دسترسی‌شون فراتر برن — چه دسترسی به فایل‌های یه شرکت باشه، چه یه API داخلی، چه اینترنت آزاد. بیش از ۱۰۰ سازمان از همون روز اول با این پلتفرم کار می‌کنن، از جمله Anthropic، Cisco، CrowdStrike، Dell Technologies، HPE، Microsoft، Palantir، Red Hat، Salesforce، SAP، Scale AI و SpaceXAI.

زمان‌بندی این رویداد خیلی سخته که اتفاقی به نظر برسه. این معرفی دقیقاً همون هفته‌ای انجام شد که OpenAI دومین فرار ایجنت AI از محیط ایزوله رو در سه ماه اخیر فاش کرد — مدلی که از طریق یه DNS resolver بدون نظارت راهی به اینترنت آزاد پیدا کرد و دو ساعت و نیم اجرا شد، تا اینکه مهندسا — بعد از اینکه سازوکار خودکار خاموش‌سازی فعال نشد — دستی خاموشش کردن. پلتفرم جدید Nvidia دقیقاً حول اون نقطه‌ضعفی ساخته شده که اون حادثه آشکار کرد: محدودسازیِ صرفاً نرم‌افزاری که یه ایجنت به‌اندازه‌کافی توانمند می‌تونه دورش بزنه.

دو لایه، و لایه‌ی دومی که از دید ایجنت پنهانه

لایه‌ی اول پلتفرم، OpenShell، به عنوان یه محیط اجرایی امن روی CPU‌های Vera شرکت Nvidia اجرا می‌شه و ابزارهای سطح هسته رو فراهم می‌کنه که هر دسترسی به فایل، هر system call و هر اتصال شبکه‌ای که یه ایجنت انجام می‌ده رو زیر نظر می‌گیره. چون اجرای سیاست‌ها خارج از پروسه‌ی اصلی انجام می‌شه — نه داخل محیط اجرایی خود ایجنت — یه ایجنت آلوده یا دست‌کاری‌شده نمی‌تونه با دستکاری زبانی یا حرف زدن از قوانین رد بشه. لایه‌ی نظارت داره کدی رو اجرا می‌کنه که ایجنت هیچ راهی برای تأثیر گذاشتن روش نداره.

لایه‌ی دوم، Sentry، جاییه که تفاوت سخت‌افزاری بیشترین اهمیت رو پیدا می‌کنه. سیستم Sentry روی واحدهای پردازش داده‌ی BlueField-4 شرکت Nvidia اجرا می‌شه — تراشه‌هایی که از نظر فیزیکی کاملاً جدا از CPU‌ای که بار کاری ایجنت رو اجرا می‌کنه — و رفتار ایجنت رو از چیزی زیر نظر می‌گیره که Nvidia بهش «حوزه‌ی اعتماد» می‌گه؛ حوزه‌ای که نه ایجنت و نه هیچ مهاجمی که کنترلش رو داره نمی‌تونه بهش دسترسی داشته باشه یا ببینتش. اگه ایجنتی تلاش کنه از مرز تعریف‌شده‌اش بیرون بره، Sentry می‌تونه ظرف چند میلی‌ثانیه قرنطینه‌اش کنه و متوقفش کنه — بدون اینکه مجبور باشه از محیط اجرایی خود ایجنت برای اعمال کنترل استفاده کنه.

چرا ماجرای DNS شرکت OpenAI یه مطالعه‌ی موردی ضمنی برای این پلتفرم هست

این دسته از آسیب‌پذیری‌هایی که این پلتفرم بهشون می‌پردازه — یعنی وقتی یه ایجنت یه مسیر خروجی بدون نظارت پیدا می‌کنه که محیط ایزوله‌ی سطح نرم‌افزاری نتونسته ببندتش — دقیقاً همونیه که محققان امنیتی هم توی فرارهای از محیط ایزوله‌ی OpenAI و هم توی یه آسیب‌پذیری مشابه که اوایل امسال روی Code Interpreter سرویس Amazon Bedrock AgentCore افشا شد، شناسایی کردن. توی هر دو مورد، مشکل اصلی یه چیز بود: منطق مهار در همون محیط اجرایی اجرا می‌شد که قرار بود چیزی رو درش نگه داره. این به یه مدل به‌اندازه‌ی کافی توانمند فضا می‌داد تا یه شکاف پیدا کنه یا بسازه. انتقال سیستم نظارت به یه تراشه‌ی کاملاً جدا و خارج از مسیر اصلی، یه پاسخ معماری مستقیم به همین الگوی شکست خاصه، نه یه وصله برای یه آسیب‌پذیری منفرد.

این لیست شریکا چی نشون می‌ده

حضور شرکت Anthropic توی لیست شریکا قابل توجهه، به‌خصوص که این شرکت یه کلمه از موضع‌گیری‌های عمومیش درباره ایمنی AI کم نکرد، در حالی که همون هفته داشت توی دادگاه علیه طبقه‌بندی ریسک زنجیره‌ی تامین پنتاگون می‌جنگید و مدیرعاملش با رئیس‌جمهوری شام می‌خورد که آشکارا به مقررات ایمنی AI بدبینه. پیوستن شرکت‌های امنیتی CrowdStrike و Palantir در کنار غول‌های ابر و نرم‌افزار سازمانی Microsoft، SAP، Salesforce و ServiceNow نشون می‌ده که شرکت Nvidia داره مهار ایجنت در سطح سخت‌افزار رو به عنوان زیرساختی می‌بینه که تیم‌های عملیات امنیتی — نه فقط آزمایشگاه‌های AI — با گسترش استقرار AI ایجنتی داخل شرکت‌ها باید یکپارچه‌سازیش کنن.

این پلتفرم چی رو حل نمی‌کنه

یه ناظر سخت‌افزاری دامنه‌ی آسیب یه شکست در مهار رو کاهش می‌ده، ولی جلوی یه مدل توانمند رو از اینکه اصلاً تلاش برای فرار بکنه نمی‌گیره، و به این بستگی داره که سازمان‌ها واقعاً DPUهای BlueField-4 رو کنار منابع محاسباتیشون مستقر کنن، نه اینکه سیستم نظارت رو یه سخت‌افزار جانبی اختیاری ببیننش. موضع علنی شرکت Nvidia هم همیشه این بوده که با کلیدهای قطع اجباری دولتی یا بکدورهای تایید موقعیت مکانی توی تراشه‌های صادراتیش مخالفه — که یه مبارزه‌ی قانونی جداگانه‌ست و ربطی به این پلتفرم نداره — پس راه‌اندازی امروز بهترین برداشتش اینه که شرکت Nvidia یه محصول مهار سازمانی اختیاری ارائه می‌ده، نه اینکه داره توی اون بحث سیاستیِ جاری عقب‌نشینی می‌کنه.