تعریف
هایپرپارامتری که اندازه گامهای بهروزرسانی وزنها در هر تکرار آموزش را تعیین میکند.
توضیح کامل
نرخ خیلی بالا: آموزش ناپایدار و نوسانی. نرخ خیلی پایین: آموزش خیلی کند و گیر کردن در مینیممهای محلی. Learning Rate Scheduling (کاهش تدریجی نرخ) و Warmup از تکنیکهای رایج بهینهسازی آن هستند. مقدار $1e^{-4}$ تا $1e^{-5}$ برای fine-tuning LLMها رایج است.
مثال کاربردی
نرخ یادگیری خیلی بالا مثل رانندگی با سرعت زیاد در کوچه باریک است — به دیوار میزنید.