تعریف
وزنهای قابل یادگیری شبکه عصبی که در آموزش تنظیم میشوند و دانش مدل را ذخیره میکنند.
توضیح کامل
تعداد پارامتر (۷B، ۷۰B، ۴۰۵B) معیار اصلی اندازه مدل است. پارامترهای بیشتر ظرفیت یادگیری بالاتری میدهند اما نیاز به منابع محاسباتی بیشتر دارند. علاوه بر وزنها، هایپرپارامترها (نرخ یادگیری، اندازه بچ) نیز در آموزش نقش دارند.
مثال کاربردی
GPT-3 با ۱۷۵ میلیارد پارامتر آموزش دید؛ این اعداد در مدلهای جدید به چند تریلیون رسیده است.