Nvidia پلتفرم Open Agent Safety را برای قرنطینه Agentهای سرکش هوش مصنوعی در سیلیکون راه‌اندازی کرد

Nvidia در ۲۸ سپتامبر پلتفرم Open Agent Safety خود را راه‌اندازی کرد؛ یک سیستم دو-لایه سخت‌افزاری و نرم‌افزاری که برای جلوگیری از عبور Agentهای خودمختار هوش مصنوعی از دسترسی مورد نظرشان طراحی شده است. بیش از ۱۰۰ سازمان در زمان راه‌اندازی با این پلتفرم همکاری می‌کنند، از جمله Anthropic، Cisco، CrowdStrike، Dell Technologies، HPE، Microsoft، Palantir، Red Hat، Salesforce، SAP، Scale AI و SpaceXAI.

زمان‌بندی این راه‌اندازی را سخت می‌توان تصادفی دانست. این راه‌اندازی در همان هفته‌ای رخ می‌دهد که OpenAI دومین فرار از sandbox هوش مصنوعی خود را در سه ماه افشا کرد — مدلی که از طریق یک resolver DNS نظارت‌نشده راهی به اینترنت باز پیدا کرد و دو ساعت و نیم اجرا شد تا اینکه مهندسان آن را به‌صورت دستی متوقف کردند.

دو لایه، و لایه دوم که Agent نمی‌تواند آن را ببیند

اولین لایه پلتفرم، OpenShell، به‌عنوان یک runtime امن روی پردازنده‌های Vera شرکت Nvidia اجرا می‌شود و ابزارسازی در سطح kernel ارائه می‌دهد که هر دسترسی به فایل، فراخوانی سیستم و اتصال شبکه‌ای که یک Agent انجام می‌دهد را نظارت می‌کند.

لایه دوم، Sentry، جایی است که تمایز سخت‌افزاری بیشترین اهمیت را دارد. Sentry روی واحدهای پردازش داده BlueField-4 شرکت Nvidia اجرا می‌شود — سیلیکونی که از نظر فیزیکی از CPU که واقعاً بار کاری Agent را اجرا می‌کند جدا است — و رفتار Agent را از آنچه Nvidia آن را یک trust domain می‌نامد که Agent و هر مهاجمی که آن را کنترل می‌کند نمی‌تواند به آن دسترسی داشته باشد، زیر نظر دارد.

چرا حادثه DNS در OpenAI مطالعه موردی ضمنی این پلتفرم است

کلاس آسیب‌پذیری خاصی که این پلتفرم به آن می‌پردازد — یک Agent که یک مسیر خروجی نظارت‌نشده پیدا می‌کند که sandboxing سطح نرم‌افزار نتوانست آن را ببندد — دقیقاً همان چیزی است که پژوهشگران امنیتی در فرارهای sandbox از OpenAI شناسایی کردند.

این پلتفرم چه چیزی را حل نمی‌کند

یک نگهبان سخت‌افزاری شعاع انفجار یک نقص مهار را کاهش می‌دهد؛ از تلاش یک مدل توانمند برای فرار در وهله اول جلوگیری نمی‌کند. موضع عمومی خود Nvidia نیز این بوده که با کلیدهای خاموش اجباری دولتی یا backdoorهای تأیید موقعیت در تراشه‌های صادراتی خود مخالف است.