اشباع معیارهای ارزیابی هوش مصنوعی به مشکلی واقعی برای انتخاب مدل تبدیل شده است
معیارهای ارزیابی هوش مصنوعی پیشرفته دیگر چیز زیادی به ما نمی‌گویند. MMLU برای مدل‌های برتر به ۹۳٪ رسیده، HellaSwag از ۹۵٪ عبور کرده، و GPQA Diamond — آزمونی که به‌طور خاص برای مقاومت در برابر حافظه‌سپاری ساخته شده — به ۹۴.۳٪ رسیده است. GSM8K که زمانی دروازه معناداری برای استدلال ریاضی بود، اکنون عملاً حل شده است. وقتی هر آزمایشگاه جدی در فاصله یک یا دو واحد از سقف قرار می‌گیرد، جدول رهبری دیگر قابلیت را نمی‌سنجد و شروع به سنجش نویز می‌کند.
شاخص هوش مصنوعی ۲۰۲۶ دانشگاه استنفورد این موضوع را صریح بیان کرد: ارزیابی‌هایی که برای سال‌ها سخت طراحی شده بودند، اکنون در عرض چند ماه اشباع می‌شوند. این به این معنا نیست که مدل‌ها یک‌شبه به‌طور چشمگیری باهوش‌تر شده‌اند — بلکه به این دلیل است که معیارها محدود بودند و آزمایشگاه‌های پیشرو سال‌ها فرصت داشته‌اند تا در برابر آن‌ها بهینه‌سازی کنند، گاهی از طریق آلودگی داده و گاهی از طریق پیشرفت واقعی قابلیت که به‌طور تصادفی در یک سقف مناسب به ثبات رسیده است.
وقتی ۱۰۰٪ دیگر معنای سابق را ندارد
واضح‌ترین مدرک فروپاشی اشباع به‌عنوان یک سیگنال، از پژوهش‌های امنیتی می‌آید، نه از اسلایدهای بازاریابی. مطالعه‌ای اخیر درباره قابلیت فرار از sandbox کانتینر نشان داد که Mythos Preview، که در ۷ آوریل ۲۰۲۶ معرفی شد، در دست‌کم یک تلاش از میان ۱۰۰٪ نمونه‌های آزمایشی موفق شد. Cybench، معیاری قدیمی‌تر و سخت‌تر در همین حوزه، حدود ۱۸ ماه بهبود تدریجی مدل را طی کرد تا به قلمروی مشابه برسد. معیار جدیدتر آسان‌تر نشد — بلکه تقریباً فوراً حل شد، که نشان می‌دهد این نسل از مدل‌ها سریع‌تر از آنچه کسی بتواند آزمونی برای رهگیری آن بسازد، از یک آستانه قابلیت عبور کرده است.
این موضوع اهمیت دارد زیرا تیم‌های تدارکات، خریداران سازمانی و حتی قانون‌گذاران همچنان به امتیازات معیار به‌عنوان خلاصه‌ای از «کدام مدل بهتر است» تکیه می‌کنند. در سقف اشباع، فاصله دو واحدی بین دو مدل پیشرفته، نویز آماری است، نه تفاوت قابلیت معنادار. برخورد با آن به‌عنوان تعیین‌کننده، یک خطای مقوله‌ای است.
معیارهایی که هنوز کار می‌کنند — و چرا پرهزینه‌اند
Humanity's Last Exam همچنان معیار اصلی دشواری غیراشباع این حوزه است، و پراکندگی امتیازات گزارش‌شده داستان خود را روایت می‌کند: حدود ۳۵٪ در یک تنظیم ارزیابی، حدود ۴۵٪ در تنظیم دیگر، و ۵۳.۱٪ زمانی که مدل‌ها به ابزار دسترسی دارند. این تنوع، اندازه‌گیری نادقیق نیست — بلکه بازتاب حساسیت معیارهای واقعاً سخت به شرایط ارزیابی است، همان ویژگی‌ای که معیارهای اشباع‌شده از دست داده‌اند.
واکنش این حوزه، ساخت آزمون‌های محدودتر و پرهزینه‌تر بوده است. یک معیار اخیر از ۱۹۸ سؤال در زیست‌شناسی، فیزیک و شیمی استفاده می‌کند که توسط کارشناسان سطح دکترا و به‌طور خاص برای مقاومت در برابر جست‌وجوی موتور جستجو یا تطبیق الگو نوشته شده‌اند. این آزمون‌ها ساخت سخت‌تر، مقیاس‌پذیری سخت‌تر و پوشیده‌نگه‌داشتن سخت‌تری دارند — اما فریب‌دادن آن‌ها نیز سخت‌تر است، که دقیقاً هدف اصلی است.
آلودگی داده همچنان حتی در آزمون‌های جدیدتر یک نگرانی زنده است. برخی امتیازات گزارش‌شده دارای برچسب‌های صریح هستند: خودگزارش‌شده و تأییدنشده به‌طور مستقل، یا علامت‌گذاری‌شده برای آلودگی احتمالی داده‌های آموزشی در یک مدل خاص. امتیاز یک معیار بدون فرآیند تأیید افشاشده و بررسی آلودگی، اکنون به ادعای فروشنده نزدیک‌تر است تا یک سنجش مستقل.
فاصله استقرار، داستان واقعی است
عدد مهم‌تر برای هر کسی که واقعاً سیستم‌های هوش مصنوعی می‌خرد، امتیاز معیار نیست — بلکه فاصله بین نتایج آزمایشگاهی و عملکرد تولیدی است. پژوهش اخیر درباره سیستم‌های عاملانه سازمانی، فاصله ۳۷٪ بین امتیازات معیار آزمایشگاهی و عملکرد واقعی در استقرار را یافت. این فاصله وجود دارد زیرا معیارها وظایف محدود و مشخص را در شرایط کنترل‌شده آزمایش می‌کنند، در حالی که محیط‌های تولیدی دستورالعمل‌های مبهم، داده‌های نامنظم، زنجیره‌های چندمرحله‌ای ابزار و ورودی‌های خصمانه را وارد می‌کنند که هیچ مجموعه آزمون ثابتی آن‌ها را ثبت نمی‌کند.
یافته دیگری این موضوع را تقویت می‌کند: گزارش شده که مدل‌های پیشرفته تقریباً در یک‌سوم تلاش‌های تولیدی در برخی گردش‌کارهای عاملانه با شکست مواجه می‌شوند، و این الگوی شکست با طولانی‌تر و کمترقابل‌تفسیرشدن زنجیره‌های استدلال پشت هر تصمیم، سخت‌تر قابل بررسی می‌شود. یک مدل می‌تواند امتیاز معیار ۹۴٪ ثبت کند و همچنان یک‌سوم مواقع در وظیفه واقعی که به آن نیاز دارید شکست بخورد.
این برای کسی که واقعاً مدل انتخاب می‌کند چه معنایی دارد
سه تغییر عملی از این موضوع نتیجه می‌شود. اول، استفاده از رتبه جدول رهبری به‌عنوان تعیین‌کننده بین مدل‌های پیشرفته‌ای که در فاصله چند واحدی از یکدیگر امتیاز می‌گیرند را متوقف کنید — آن فاصله نویز است، نه سیگنال. دوم، به معیارهای سخت‌تر و غیراشباع (آزمون‌هایی شبیه Humanity's Last Exam، ارزیابی‌های محدود نوشته‌شده توسط کارشناسان) وزن بیشتری نسبت به معیارهای عمومی اشباع‌شده بدهید، و بررسی کنید که آیا امتیازات به‌طور مستقل تأیید شده‌اند یا خودگزارش‌شده‌اند. سوم و مهم‌ترین: پیش از تعهد، آزمایش خود را روی توزیع واقعی وظایف خود اجرا کنید. فاصله استقرار متوسط ۳۷٪ به این معناست که عدد منتشرشده، در بهترین حالت، یک پیش‌فرض تقریبی است — نه یک تضمین.
برای خریداران سازمانی، این استدلال می‌کند که بررسی فاصله استقرار باید به‌عنوان یک مرحله استاندارد در ارزیابی فروشنده گنجانده شود، نه یک فکر بعدی. مستقیماً از فروشندگان بپرسید که اختلاف معیار تا تولید آن‌ها در وظایف مشابه به شما چگونه است، و رد پاسخ یا پاسخ «ما آن را پیگیری نمی‌کنیم» را خود یک علامت هشدار در نظر بگیرید. دوران جدول رهبری در انتخاب مدل در حال پایان است، نه به این دلیل که معیارها بدتر شده‌اند، بلکه به این دلیل که مدل‌ها به‌اندازه کافی خوب شده‌اند که معیارها را در حاشیه بی‌اهمیت کنند — و تنها جایگزین قابل‌اعتماد، آزمایش در برابر واقعیت خودتان است.