لماذا لا تكفي لوحات الصدارة للحكم على نموذج ذكاء اصطناعي؟
كل إطلاق جديد يأتي مع جدول أرقام يثبت تفوقه. لكن المعايير تتشبّع، وقد تتسرّب إلى بيانات التدريب، ولا تقيس دائماً ما يهمك أنت.
يقول «قانون غودهارت» في الاقتصاد: حين يتحول المقياس إلى هدف، يتوقف عن كونه مقياساً جيداً. وهذا بالضبط ما يحدث مع معايير الذكاء الاصطناعي.
التشبّع: صُمّم معيار MMLU عام 2020 ليكون صعباً، ويغطي 57 موضوعاً من الرياضيات إلى القانون. اليوم تحصل النماذج الرائدة على درجات متقاربة جداً فيه، فلم يعد يميّز بينها.
التسرّب: لأن النماذج تُدرَّب على أجزاء ضخمة من الإنترنت، قد تكون أسئلة الاختبار نفسها، أو حلولها، ضمن بيانات التدريب. حينها يقيس الاختبار الحفظ لا الفهم.
المقياس الخطأ: درجة عالية في مسائل رياضية لا تخبرك كيف سيتعامل النموذج مع رسائل عملائك باللهجة العراقية أو الخليجية.
ما البديل؟
منصات المقارنة بتصويت المستخدمين، مثل LMArena، تضيف زاوية مفيدة لكنها تقيس التفضيل أكثر من الدقة. الحل العملي هو أن تبني مجموعة اختبار صغيرة من مهامك الحقيقية، وتجرب عليها كل نموذج جديد قبل أن تصدّق جدول الأرقام.