KV Cache
حافظهٔ نهان کلید و مقدار
حافظهٔ نهان کلید و مقدار؛ ذخیرهٔ کلیدها و مقدارهای توکن‌های قبلی برای جلوگیری از محاسبهٔ دوباره در تولید خودبازگشتی.
تعریف کامل
حافظهٔ موردنیاز با طول زمینه، اندازهٔ دسته و معماری رشد می‌کند. استفادهٔ مجدد باید فقط برای پیشوند و تنظیمات سازگار انجام شود.
مثال کاربردی
در تولید واژهٔ بعدی، بردارهای متن قبلی از حافظه خوانده می‌شوند.