يُتلاعب بمعايير الذكاء الاصطناعي العامة، فتشرع الشركات في بناء مجموعات تقييم خاصة في صمت

النموذج الذي يتصدر لوحة المتصدرين العامة هذا الشهر قد يُهزم أمام نموذج يحتل مرتبة أدنى بعشرة مستويات، حين تختبرهما معاً على حركة بيانات الإنتاج الخاصة بك. لم تعد هذه الفجوة حالة استثنائية؛ إذ تُفيد فرق اختبار الأداء الداخلية في عدد من الشركات الكبرى المشترية للذكاء الاصطناعي بأن ثمة تبايناً يبلغ نحو 37% بين درجات Benchmark المنشورة والأداء المقاس فعلياً على أعبائها العملية القائمة على Agent. وقد باتت لوحة المتصدرين العامة تفقد موثوقيتها بوصفها مؤشراً موثوقاً للشراء، وتُدرك فرق المشتريات ذلك جيداً.

والنتيجة هي بناء هادئ لبنية تحتية خاصة بالتقييم. بدلاً من الثقة بدرجات MMLU أو HumanEval أو GPQA كما هي، تُنشئ فرق الذكاء الاصطناعي في الشركات مجموعات تقييم داخلية تختبر النماذج باستخدام بياناتها الخاصة وأدواتها الخاصة وأنماط إخفاقاتها الخاصة، وتتعامل مع الأرقام العامة في أحسن الأحوال باعتبارها مرشحاً أولياً لا أكثر.

لماذا فقدت الأرقام العامة موثوقيتها؟

يكمن جزء من المشكلة في التلوث: فمعايير Benchmark الأكثر استخداماً باتت عامة لفترة كافية لدرجة أن أسئلتها، أو صياغات مشابهة لها، تتسرب على الأرجح إلى بيانات التدريب. غير أن مشكلة أدق نشأت حتى بالنسبة إلى Benchmark التي تُشغَّل بصورة نظيفة، وهي هشاشة القياس. أثبت الباحثون أن مجرد إعادة ترتيب خيارات الإجابة في أسئلة الاختيار من متعدد في MMLU، دون تغيير كلمة واحدة من المحتوى، قد يُحوّل دقة النموذج المقاسة بما يصل إلى 13 نقطة مئوية. إن Benchmark بهذه الحساسية للتنسيق لا تقيس القدرة فعلاً، بل تقيس متانة النموذج في التعامل مع تقليد مفتاح إجابة بعينه.

تُضيف التكلفة طبقة ثانية من الضوضاء. وجدت الفرق التي تقارن النماذج على أساس الدقة وحدها تبايناً يصل إلى 50 ضعفاً في تكلفة الاستدلال بين نماذج تتقارب نتائجها ضمن نقطة مئوية واحدة على Benchmark ذاتها. لوحة متصدرين تُصنّف على أساس الدقة فحسب تُخفي حقيقة أن النموذج الثاني ربما يعمل بكسر بسيط من التكلفة، أو أن النموذج المتصدر حقق درجته باستخدام ميزانية حوسبة وقت الاستدلال لا يستطيع أي نظام إنتاجي توظيفها فعلاً.

كيف تبدو مجموعة التقييم الخاصة فعلاً؟

الفرق التي تبني هذه البنية التحتية لا تبدأ من الصفر. نضج التوليف بسرعة: شحنت OpenAI نسخة Evals 2.0 في يونيو 2026 مع دعم من الدرجة الأولى لأدوات التقييم المخصصة والمهام متعددة الأدوار القائمة على Agent، وبلغت Inspect AI الإصدار 0.3.12 في يوليو مع دعم أفضل لتقييم استخدام الأدوات وتقييم تنفيذ الأكواد في بيئة معزولة. أما المنصات التجارية كـ Patronus AI وBraintrust وGalileo، فتبيع حالياً Pipeline تقييم خاصة مُدارة تستهدف تحديداً الشركات التي لا ترغب في بناء بنية تحتية للتصنيف داخلياً.

تتألف مجموعة التقييم الخاصة النموذجية من ثلاث طبقات. أولاً، مجموعة بيانات ذهبية مُستخلصة من تذاكر الدعم التاريخية الخاصة بالشركة، أو تعليقات Code Review، أو سير عمل المستندات، لا من بيانات عامة قط، تحديداً لأن البيانات العامة هي ما يُتلاعب به. ثانياً، أدوات تقييم خاصة بالمهمة: بالنسبة إلى مساعد البرمجة، قد يعني ذلك تشغيل الكود المُولَّد فعلاً على مجموعة اختبار، بدلاً من مطالبة LLM آخر بالحكم على صحته بالنظر. ثالثاً، منظومة انحدار تُعيد تشغيل المجموعة الكاملة على كل إصدار جديد من النموذج أو Fine-tune، حتى لا يتسلل تحديث النموذج من أحد الموردين ليُدهور الأداء بصمت على المهام التي تهم ذلك العمل تحديداً.

مشكلة الحوافز التي لا يحلّها ذلك

تُعالج التقييمات الخاصة مشكلتَي التلوث وحساسية التنسيق، لكنها تُفرز مشكلة جديدة: إنها مُكلفة في البناء والصيانة، مما يعني أن المشترين الأوفر موارداً وحدهم من يحصلون على صورة دقيقة لأداء النماذج. لا تزال الشركة الناشئة التي تقيّم أي API لتبني عليها منتجاً تعتمد على لوحات المتصدرين العامة وخيوط Twitter ومواد التسويق من الموردين، وهي بالضبط الإشارات التي باتت مشوشة منذ البداية. في المقابل، لدى مزودي النماذج كل الحوافز للاستمرار في تحسين أدائهم على Benchmark التي لا تزال تثق بها الشركات الأصغر، حتى بينما يتوقف أفضل عملائهم من الشركات الكبرى هادئاً عن الاكتراث بتلك الأرقام كلياً.

ما الذي ينبغي فعله؟

إن كنت تُقيّم نماذج لعبء عمل إنتاجي، فتعامل مع ترتيب Benchmark العامة باعتباره مرشحاً لقائمة مختصرة لا إجابة نهائية. ابنِ تقييماً خاصاً ولو في حدوده الدنيا، بين 50 و100 مثال حقيقي من حالة استخدامك الخاصة، مُقيَّمة وفق مقياس تتفق عليه فرقك، وذلك قبل الالتزام بأي نموذج لما يتجاوز النماذج الأولية. راقب رقم التكلفة لكل مهمة إلى جانب الدقة؛ فالنموذج الأفضل بنقطتين على تقييمك لكنه أغلى عشر مرات لكل استدعاء نادراً ما يكون الخيار الإنتاجي الصحيح. وأعد تشغيل مجموعة التقييم كلما أصدر مزود ما تحديثاً "صامتاً" للنموذج، إذ يمكن أن تنجرف الدقة على مهامك المحددة حتى حين تظل درجة Benchmark العامة ثابتة.