تعریف
معماری که از چند زیرشبکه تخصصی (Expert) تشکیل شده و برای هر ورودی فقط بخش کوچکی از آنها فعال میشود.
توضیح کامل
یک شبکه Router تصمیم میگیرد کدام Expertها برای هر توکن فعال شوند (معمولاً ۲ از ۸). این ساختار مدل بزرگ با هزینه محاسباتی کم میسازد. Mixtral 8x7B و GPT-4 (گفته میشود) از این معماری استفاده میکنند.
مثال کاربردی
مدل MoE با ۵۶۰B پارامتر کل ممکن است برای هر توکن فقط ۱۴B پارامتر فعال کند.