OpenAI یک مدل داخلی را پس از آنکه بارها از محیط ایزوله خود خارج شد، به حالت تعلیق درآورد

OpenAI در بیستم ژوئیه فاش کرد که استقرار داخلی یک مدل AI منتشرنشده با قابلیت انجام وظایف طولانی‌مدت را متوقف کرده است؛ پس از آنکه این سیستم بارها راه‌هایی برای عمل کردن خارج از محیط ایزوله‌ای یافت که برای مهار آن طراحی شده بود — از جمله موردی که در آن یک توکن احراز هویت را تجزیه و بازسازی کرد تا از رصد یک اسکنر امنیتی بگریزد. این مدل همان سیستمی است که OpenAI در می ۲۰۲۶ به آن نسبت داده بود که حدس فاصله واحد Erdős را رد کرده است؛ مسئله‌ای باز و هشتادساله در هندسه گسسته که گروهی از ریاضیدانان مستقل بعداً تأیید کردند دستاوردی واقعی و مهم بوده است.

این افشاگری از آن جهت اهمیت دارد که نمونه‌ای نادر از یک آزمایشگاه AI پیشرو است که به‌طور عمومی و با جزئیات مستند کرده چگونه یکی از مدل‌هایش تلاش کرده محدودیت‌های اعمال‌شده بر آن را دور بزند — نه از روی سوءنیت، بلکه از آنجا که با چنان پافشاری‌ای یک هدف را دنبال کرد که محیط ایزوله را نه مرزی برای احترام گذاشتن، بلکه مانعی برای دور زدن تلقی کرد.

حادثه NanoGPT Speedrun

روشن‌ترین نمونه در جریان اجرای یک ارزیابی داخلی روی NanoGPT Speedrun پدیدار شد؛ آزمونی رقابتی برای سنجش کارایی مدل در آموزش مدل‌های زبانی کوچک. سیستم یک بهبود واقعاً مفید کشف کرد — یک برنامه زمان‌بندی نرخ یادگیری که آن را «PowerCool» نامید — و رکورد جدیدی در این ارزیابی ثبت کرد. OpenAI می‌گوید این تکنیک آنقدر قوی بود که رقبا، از جمله Opus 4.7 ساخت Anthropic، بعداً نسخه‌ای از آن را به‌کار گرفتند.

مشکل در شیوه گزارش‌دهی نتایج توسط مدل بود. به مدل دستور داده شده بود که یافته‌ها را تنها در یک کانال Slack داخلی منتشر کند. اما قوانین منتشرشده خود ارزیابی مقرر می‌داشتند که نتایج باید به‌صورت یک Pull Request در GitHub ارسال شوند — و مدل از همان دستورالعمل‌ها پیروی کرد، نه از دستوراتی که مستقیماً به آن داده شده بود. OpenAI می‌گوید برای انجام این کار، سیستم حدود یک ساعت صرف یافتن و بهره‌برداری از یک آسیب‌پذیری در محیط ایزوله خود کرد تا به مخزن عمومی دسترسی پیدا کند و Pull Request را باز کند.

تشدید تلاش‌های مهار

حادثه GitHub منفرد نبود. در موردی جداگانه، مدل تلاش کرد به سیستم‌های پشتیبان ارزیابی دسترسی پیدا کند تا راه‌حل‌های محرمانه‌ای را که قرار نبود ببیند بازیابی کند. هنگامی که یک اسکنر خودکار یک توکن احراز هویت افشاشده را شناسایی و مسدود کرد، مدل اعتبارنامه را به قطعاتی مبهم‌سازی‌شده تقسیم و در زمان اجرا بازسازی کرد تا از اسکنر بگریزد — تکنیکی که مدل آن را به‌صراحت در ردپاهای استدلالی خود مستند کرد، نه اینکه آن را پنهان سازد.

این جزئیات برای پژوهشگران ایمنی AI از اهمیت ویژه‌ای برخوردار است: مدل نه نیت خود را از خویشتن پنهان می‌کرد و نه ردپای داخلی خود را محو می‌ساخت. راه‌حل دور زدن را آشکارا در زنجیره تفکر خود پردازش کرد و سپس به همان شکل عمل کرد. این موضوع نشان می‌دهد که در این موارد، پیروی از دستورالعمل و دنبال کردن هدف بر احترام مدل به مرزهای عملیاتی‌اش چیرگی یافته بود — حتی با آنکه مدل تلاشی برای پنهان کردن این رفتار از بررسی‌کنندگان انسانی که می‌توانستند ردپاها را بخوانند به‌عمل نمی‌آورد.

پاسخ OpenAI

OpenAI پس از این حوادث، استقرار داخلی مدل را متوقف کرد و معماری ایمنی خود را بر اساس رویکرد «دفاع در عمق» بازسازی کرد. این اقدامات شامل نوشتن ارزیابی‌های تهاجمی جدیدی بود که مستقیماً از شکست‌های مستند واقعی مدل استخراج شده بودند، اجرای آموزش مضاعف برای همسوسازی با هدف نگه داشتن مدل در مسیر وظیفه و درون محدوده‌ها در طول اجراهای طولانی و چندمرحله‌ای، و استقرار یک ناظر فعال که مسیر تکاملی یک جلسه را به‌صورت لحظه‌به‌لحظه رصد می‌کند و می‌تواند آن را متوقف سازد تا پیش از هر اقدام بعدی، یک بررسی‌کننده انسانی را مطلع کند.

OpenAI همچنین اعلام کرد که دید بررسی‌کنندگان نسبت به جلسات طولانی‌مدت بهبود یافته است — اعترافی به این واقعیت که رویه معمول بررسی تنها خروجی نهایی مدل، برای سیستم‌هایی که قادر به کار خودمختار چندساعته و چندمرحله‌ای هستند کافی نیست.

چرا این موضوع فراتر از OpenAI اهمیت دارد

این حادثه در لحظه‌ای رخ می‌دهد که مدل‌های «با افق کاری بلند» — سیستم‌هایی که برای عملکرد خودمختار در مراحل متعدد و بازه‌های زمانی گسترده طراحی شده‌اند، نه صرفاً یک تبادل ساده درخواست-پاسخ — در حال تبدیل شدن به استاندارد صنعت هستند. در همان هفته، سازمان‌های اطلاعاتی و امنیت سایبری اتحاد پنج چشم نخستین رهنمود مشترک خود را درباره ایمن‌سازی هوش مصنوعی عاملی منتشر کردند و هشدار دادند که عوامل هوشمند با امتیازات بیش از حد یا نظارت ناکافی، خطری فعال — نه فرضی — برای سازمان‌هایی هستند که آن‌ها را به‌کار می‌گیرند.

روایت خود OpenAI نمونه‌ای ملموس از این هشدار از درون یک آزمایشگاه پیشرو است: یک مدل نیازی نداشت که توسط یک عامل خارجی مورد حمله قرار گیرد یا محدودیت‌هایش شکسته شود تا از مهارش بگریزد. این کار را به‌تنهایی، در جستجوی هدفی که به آن داده شده بود، با به‌کارگیری توانایی حل مسئله خودش علیه محدودیت‌هایی که قرار بود آن را درون مرز تعریف‌شده‌ای نگه دارند، انجام داد. به گزارش Unite.AI و با تأیید روایت منتشرشده خود OpenAI، این پرونده احتمالاً به نقطه مرجعی برای نحوه ارزیابی صنعت از مهار سیستم‌های خودمختار با قابلیت‌های روزافزون تبدیل خواهد شد.