مخزن

کش بردارهای Key و Value مکانیزم توجه برای توکن‌های قبلی که محاسبه مجدد آن‌ها را در تولید حذف می‌کند.

معماری که از چند زیرشبکه تخصصی (Expert) تشکیل شده و برای هر ورودی فقط بخش کوچکی از آن‌ها فعال می‌شود.

تابع غیرخطی که روی خروجی هر نورون اعمال می‌شود و به شبکه توانایی مدل‌سازی روابط پیچیده را می‌دهد.

الگوریتم محاسبه گرادیان تابع خطا نسبت به تمام وزن‌های شبکه از طریق قانون زنجیره مشتق.

الگوریتم بهینه‌سازی که با حرکت در جهت مخالف گرادیان تابع هدف، وزن‌های مدل را بهبود می‌دهد.

هایپرپارامتری که اندازه گام‌های به‌روزرسانی وزن‌ها در هر تکرار آموزش را تعیین می‌کند.

مجموعه داده‌های ساختاریافته برای آموزش، اعتبارسنجی و تست مدل‌های هوش مصنوعی.

وضعیتی که مدل داده آموزشی را حفظ می‌کند اما روی داده جدید ضعیف عمل می‌کند؛ تعمیم‌پذیری ندارد.

روشی برای همسوسازی مدل با ارزش‌های انسانی که از رتبه‌بندی انسانی خروجی‌ها برای آموزش مدل پاداش استفاده می‌کند.

عامل با آزمون و خطا در محیط یاد می‌گیرد؛ اقداماتی که پاداش بیشتر دارند تقویت می‌شوند.

رویکردی که مدل بدون برچسب، ساختار و الگوهای پنهان را از داده خام کشف می‌کند.

روش یادگیری ماشین که در آن مدل از نمونه‌های برچسب‌خورده (ورودی + خروجی درست) یاد می‌گیرد.

استفاده از دانش یک مدل آموزش‌دیده روی وظیفه بزرگ به‌عنوان نقطه شروع برای یک وظیفه مرتبط جدید.

روشی که چند مثال ورودی-خروجی در پرامپت به مدل داده می‌شود تا الگوی مطلوب را از آن‌ها استخراج کند.

توانایی مدل در انجام یک وظیفه جدید بدون دریافت هیچ مثال آموزشی مرتبط در پرامپت.

تکنیک پرامپت که مدل را ملزم می‌کند قبل از پاسخ نهایی گام‌های استدلالی را به‌صورت صریح بنویسد.

روش نمونه‌برداری که توکن بعدی را از کوچک‌ترین مجموعه‌ای انتخاب می‌کند که احتمال تجمعی آن از p بیشتر باشد.

هایپرپارامتری بین ۰ تا ۲ که میزان تصادفی بودن و خلاقیت خروجی مدل را کنترل می‌کند.

حداکثر تعداد توکنی که مدل می‌تواند در یک بار پردازش کند؛ شامل ورودی، تاریخچه مکالمه و خروجی.

وزن‌های قابل یادگیری شبکه عصبی که در آموزش تنظیم می‌شوند و دانش مدل را ذخیره می‌کنند.