تعریف
روش fine-tuning کارآمد که بهجای بهروزرسانی کل وزنها، ماتریسهای rank پایین کوچک را آموزش میدهد.
توضیح کامل
LoRA فرض میکند تغییرات وزن در fine-tuning rank پایین دارند. ماتریس $Delta W = AB$ را با $A in R^{d times r}$ و $B in R^{r times k}$ که $r ll d$ آموزش میدهد. این روش پارامترهای قابل آموزش را ۱۰۰-۱۰۰۰ برابر کاهش میدهد. QLoRA نسخه کوانتیزهشده آن است که حافظه لازم را بیشتر کاهش میدهد.
مثال کاربردی
Fine-tune کردن Llama-3 70B با LoRA روی یک GPU 24GB ممکن است؛ بدون LoRA نیاز به چند GPU 80GB است.