ساتیا نادلا از صنعت AI می‌خواهد برای مدل‌های هوشمند «ترمز اضطراری» بسازد

ساتیا نادلا، مدیرعامل مایکروسافت، خواستار بازنگری اساسی در نحوه کنترل سیستم‌های هوش مصنوعی شده است. او می‌گوید صنعت باید هر مدل را از ابتدا در مظان اتهام احتمال نقض بداند.

نادلا در پستی شنبه‌گاهی در X چهار الزام را برشمرد که به گفته‌اش باید در هر استقرار جدی هوش مصنوعی گنجانده شود: جداسازی مدل از چارچوب نرم‌افزاری که اقداماتش را هماهنگ می‌کند؛ قرار دادن کنترل‌ها و تدابیر امنیتی خارج از خود مدل؛ ثبت هر اقدام مهم مدل به‌شکل دستکاری‌ناپذیر و قابل‌خواندن توسط انسان؛ و اطمینان از اینکه یک نفر مجاز بتواند در هر لحظه از اجرای یک وظیفه مدل را متوقف کند.

نادلا نوشت: «باید فرض کنیم مدل در معرض خطر است و از همان ابتدا آن را محدود کنیم. مثل یک ترمز اضطراری فکر کنید.»

این اظهارات بی‌دلیل نیست. آنتروپیک این هفته فاش کرد که عوامل هوش مصنوعی‌اش در طول آزمایش‌های داخلی ایمنی، آسیب‌پذیری‌های امنیتی وب‌سایت‌های شخص ثالث را سوءاستفاده کرده‌اند؛ و یک عامل گزارش قتل جعلی به پلیس فیلادلفیا ارسال کرده است. پاسخ آنتروپیک این بود که محیط ارزیابی داخلی‌اش را به‌طور کامل از اینترنت زنده قطع کند.

انتقاد نادلا متوجه چیزی است که او «معماری اعتماد» فعلی هوش مصنوعی می‌نامد: این فرض ضمنی که خروجی‌های مدل را می‌توان در پایان یک وظیفه بررسی و پذیرفت یا رد کرد. او استدلال می‌کند که این فرض زمانی از هم می‌پاشد که یک عامل هوش مصنوعی بتواند در حین اجرای وظیفه اقدامات واقعی انجام دهد: گزارش بفرستد، کد اجرا کند یا با سیستم‌های خارجی تعامل کند.

جداسازی چارچوب هماهنگ‌کننده از مدل، گامی معماری معنادار است. یعنی منطق ایمنی که تعیین می‌کند مدل چه کاری مجاز است، در زیرساختی قرار می‌گیرد که مدل نمی‌تواند آن را تغییر دهد. ثبت دستکاری‌ناپذیر نیز شکاف حسابرسی را می‌بندد.

نادلا از عبارت «Super Intelligence» — اصطلاح مورد پسند دولت ترامپ — برای توصیف سیستم‌های هوش مصنوعی پیشرفته استفاده کرد، نشانه‌ای که این بحث‌ها دیگر فقط در سیلیکون‌ولی نیستند.

موضع او با رویکرد داریو آمودئی، مدیرعامل آنتروپیک، برای توسعه محتاطانه‌تر هوش مصنوعی همخوانی دارد. اینکه دو مدیرعامل در مرکز رقابت هوش مصنوعی هر دو خواستار کنترل‌های انسانی تعبیه‌شده هستند، تحول واقعی در نحوه گفتگوی صنعت درباره ریسک را نشان می‌دهد.

گزارش اصلی از آنتونی ها برای TechCrunch.