Sliding Window Attention

این محدودیت هزینه را کاهش می‌دهد ولی دسترسی مستقیم به اطلاعات دور را کم می‌کند. ترکیب با لایه‌ها یا توکن‌های سراسری می‌تواند الگوی ارتباط را تغییر دهد.

هر توکن فقط چندصد موقعیت قبلی را در یک لایه می‌بیند.