تعریف
Massive Multitask Language Understanding: مجموعه ~۱۶K سؤال چندگزینهای در ۵۷ رشته از ابتدایی تا کارشناسی ارشد.
توضیح کامل
MMLU یکی از استانداردترین معیارهای سنجش دانش کلی مدلهاست. رشتهها از ریاضیات و علوم تا حقوق، پزشکی و تاریخ را پوشش میدهند. امتیاز بالای ۸۵٪ نشاندهنده کیفیت قابلتوجه مدل است. مدلهای جدید بالای ۹۰٪ میرسند.
مثال کاربردی
سؤال نمونه: “مکانیزم اصلی عمل داروی آسپرین کدام است؟” — پاسخ صحیح مهار COX.