تعریف
کش بردارهای Key و Value مکانیزم توجه برای توکنهای قبلی که محاسبه مجدد آنها را در تولید حذف میکند.
توضیح کامل
بدون KV Cache، برای تولید هر توکن جدید باید کل تاریخچه دوباره محاسبه شود. با کش، سرعت تولید (tokens per second) بهشدت افزایش مییابد اما حافظه GPU بیشتری میخواهد. Prefix caching یک شدت افزایش مییابد اما حافظه GPU بیشتری میخواهد. Prefix caching یک گتکراری را نگه میدارد.
مثال کاربردی
KV Cache دلیل اصلی است که تولید توکن اول از بقیه کندتر است.