FlashAttention
توجه کم‌رفت‌وآمد حافظه
توجه کم‌رفت‌وآمد حافظه؛ خانواده‌ای از الگوریتم‌های توجه دقیق که با بلوک‌بندی، جابه‌جایی داده میان سطوح حافظه را کاهش می‌دهند.
تعریف کامل
هدف کاهش دسترسی حافظه و جلوگیری از ذخیرهٔ کامل ماتریس توجه است. پشتیبانی از نوع داده، ماسک و سخت‌افزار به نسخهٔ پیاده‌سازی وابسته است.
مثال کاربردی
توجه یک دنبالهٔ بلند بدون نگهداری کل ماتریس مربعی در حافظهٔ اصلی محاسبه می‌شود.