Benchmark های عمومی هوش مصنوعی دستکاری می‌شوند؛ سازمان‌ها به‌آرامی مجموعه‌های ارزیابی خصوصی می‌سازند

مدلی که این ماه صدر جدول رتبه‌بندی عمومی است، ممکن است در برابر مدلی که ده رتبه پایین‌تر قرار دارد شکست بخورد — اگر هر دو را روی ترافیک واقعی سازمان خود آزمایش کنید. این شکاف دیگر یک استثنا نیست. تیم‌های ارزیابی داخلی در چندین سازمان خریدار هوش مصنوعی گزارش می‌دهند که تفاوت میان امتیازهای Benchmark منتشرشده و عملکرد اندازه‌گیری‌شده روی بارهای کاری Agent محور خودشان، به حدود ۳۷ درصد می‌رسد. جدول رتبه‌بندی عمومی دیگر یک سیگنال خرید قابل اعتماد نیست، و تیم‌های تدارکات این را می‌دانند.

نتیجه این است که زیرساخت ارزیابی خصوصی به‌آرامی در حال شکل گرفتن است. به‌جای اعتماد به امتیازهای MMLU، HumanEval یا GPQA، تیم‌های هوش مصنوعی سازمانی مجموعه‌های ارزیابی داخلی راه‌اندازی می‌کنند که مدل‌ها را با داده‌های خودشان، ابزارهای خودشان و حالت‌های شکست خودشان می‌سنجند — و اعداد عمومی را در بهترین حالت به‌عنوان یک فیلتر اولیه در نظر می‌گیرند.

چرا اعداد عمومی دیگر قابل اعتماد نیستند

بخشی از مشکل، آلودگی داده است: Benchmark های پرکاربرد آنقدر طولانی است که عمومی هستند که احتمالاً سوالات آن‌ها، یا بازنویسی‌های نزدیک به آن‌ها، به داده‌های آموزشی نشت کرده‌اند. اما مشکلی ظریف‌تر حتی برای Benchmark هایی که به‌درستی اجرا می‌شوند پدید آمده است: شکنندگی اندازه‌گیری. پژوهشگران نشان داده‌اند که تنها با تغییر ترتیب گزینه‌های پاسخ در سوالات چندگزینه‌ای MMLU، بدون تغییر حتی یک کلمه از محتوا، دقت اندازه‌گیری‌شده مدل تا ۱۳ درصد جابجا می‌شود. یک Benchmark که به این اندازه به قالب‌بندی حساس است، در واقع توانایی را نمی‌سنجد؛ بلکه مقاومت مدل در برابر یک شیوه خاص پاسخ‌نامه را اندازه می‌گیرد.

هزینه لایه دومی از نویز اضافه می‌کند. تیم‌هایی که مدل‌ها را صرفاً بر اساس دقت مقایسه می‌کنند، تفاوت تا ۵۰ برابری در هزینه استنتاج میان مدل‌هایی یافته‌اند که در همان Benchmark تنها یک درصد از هم فاصله دارند. جدول رتبه‌بندی که تنها بر اساس دقت رتبه‌بندی می‌کند، این واقعیت را پنهان می‌کند که مدل دوم ممکن است با کسری از هزینه اجرا شود — یا اینکه مدل اول امتیازش را با بودجه محاسباتی زمان استنتاجی به دست آورده که هیچ سیستم تولیدی واقعاً از آن استفاده نمی‌کند.

یک مجموعه ارزیابی خصوصی در عمل چه شکلی است

تیم‌هایی که این زیرساخت را می‌سازند از صفر شروع نمی‌کنند. ابزارها به سرعت بالغ شده‌اند: OpenAI در ژوئن ۲۰۲۶ نسخه Evals 2.0 را عرضه کرد که از ارزیاب‌های سفارشی و وظایف چندمرحله‌ای Agent محور پشتیبانی درجه یک دارد، و Inspect AI در جولای به نسخه ۰.۳.۱۲ رسید که پشتیبانی بهتری از ارزیابی استفاده از ابزار و امتیازدهی به اجرای کد در محیط‌های ایزوله دارد. پلتفرم‌های تجاری — از جمله Patronus AI، Braintrust و Galileo — اکنون Pipeline های ارزیابی خصوصی مدیریت‌شده می‌فروشند که به‌طور خاص برای سازمان‌هایی طراحی شده‌اند که نمی‌خواهند زیرساخت امتیازدهی را در داخل بسازند.

یک مجموعه خصوصی معمول سه لایه دارد. اول، یک مجموعه داده طلایی که از تیکت‌های پشتیبانی تاریخی خود شرکت، نظرات Code Review یا جریان‌های کاری اسناد استخراج شده — هرگز داده‌های عمومی، دقیقاً به این دلیل که داده‌های عمومی همان چیزی است که دستکاری می‌شود. دوم، ارزیاب‌های مخصوص هر وظیفه: برای یک دستیار کدنویسی، این ممکن است یعنی اجرای واقعی کد تولیدشده در برابر یک مجموعه تست، به‌جای اینکه از LLM دیگری خواسته شود صحت را به‌طور ذهنی قضاوت کند. سوم، یک Pipeline آزمون رگرسیون که مجموعه کامل را در برابر هر انتشار مدل جدید یا Fine-tuning مجدداً اجرا می‌کند، تا به‌روزرسانی مدل یک فروشنده نتواند به‌طور نامحسوس عملکرد را در وظایفی که برای آن کسب‌وکار خاص اهمیت دارند کاهش دهد.

مشکل انگیزه‌ای که این رویکرد حل نمی‌کند

ارزیابی‌های خصوصی مشکلات آلودگی داده و حساسیت به قالب‌بندی را برطرف می‌کنند، اما مشکل جدیدی ایجاد می‌کنند: ساخت و نگهداری آن‌ها گران است. این یعنی تنها خریداران با منابع کافی تصویر دقیقی از عملکرد مدل به دست می‌آورند. استارتاپی که ارزیابی می‌کند روی کدام API بسازد، همچنان باید به جداول رتبه‌بندی عمومی، موضوعات Twitter و بازاریابی فروشندگان تکیه کند — دقیقاً همان سیگنال‌هایی که در وهله اول پر از نویز شدند. ارائه‌دهندگان مدل نیز هر انگیزه‌ای دارند که به بهینه‌سازی برای Benchmark هایی که خریداران کوچک‌تر هنوز به آن‌ها اعتماد می‌کنند ادامه دهند، حتی در حالی که بهترین مشتریان سازمانی‌شان به‌آرامی دیگر به این اعداد نگاه نمی‌کنند.

چه کاری باید انجام داد

اگر مدل‌ها را برای یک بار کاری تولیدی ارزیابی می‌کنید، رتبه Benchmark عمومی را به‌عنوان یک فیلتر فهرست کوتاه در نظر بگیرید، نه پاسخ نهایی. حتی یک ارزیابی خصوصی حداقلی بسازید — ۵۰ تا ۱۰۰ نمونه واقعی از موارد استفاده خودتان، که با معیاری مورد توافق تیم امتیازدهی شده باشند — پیش از اینکه برای هر چیزی فراتر از نمونه‌سازی اولیه به یک مدل متعهد شوید. هزینه به‌ازای هر وظیفه را در کنار دقت زیر نظر داشته باشید؛ مدلی که ۲ درصد بهتر در ارزیابی شما است اما به‌ازای هر فراخوانی API ده برابر گران‌تر است، به‌ندرت انتخاب درست برای محیط تولید خواهد بود. همچنین مجموعه ارزیابی خود را هر بار که یک ارائه‌دهنده به‌روزرسانی مدل «خاموش» ارسال می‌کند مجدداً اجرا کنید؛ دقت روی وظایف خاص شما می‌تواند حتی زمانی که امتیاز Benchmark عمومی ثابت می‌ماند، منحرف شود.