قوانين التوسّع: لماذا ظلّت النماذج تكبر، وهل للأمر حدّ؟
أظهرت أبحاث بين 2020 و2022 أن أداء النماذج يتحسن بانتظام مع زيادة حجمها وبياناتها وحوسبتها، ثم كشفت أن معظم النماذج آنذاك كانت تُدرَّب على بيانات أقل مما تحتاج.
في عام 2020 نشر باحثون في OpenAI دراسة لافتة: خطأ النموذج اللغوي ينخفض بطريقة منتظمة يمكن التنبؤ بها كلما زاد عدد معاملاته، أو حجم بيانات التدريب، أو الحوسبة المستخدمة. صار بالإمكان تقدير أداء نموذج قبل تدريبه.
تصحيح «تشينشيلا»
بعد عامين عادت DeepMind إلى السؤال نفسه بتجارب أوسع، ووصلت إلى خلاصة مختلفة: لتحقيق أفضل نتيجة بميزانية حوسبة محددة، يجب أن يكبر حجم البيانات بالتوازي مع حجم النموذج. النموذج الذي درّبته على هذا الأساس، «تشينشيلا» بسبعين مليار معامل، تفوّق على نموذج «غوفر» الأكبر منه بأربع مرات.
ماذا بعد؟
مع اقتراب النصوص عالية الجودة على الإنترنت من النفاد، يتجه الباحثون إلى مصادر أخرى للتحسن: البيانات الاصطناعية، والتدريب على الاستدلال، وزيادة الحوسبة وقت الاستخدام بدلاً من وقت التدريب فقط.