Multi-Query Attention
توجه چندپرس‌وجویی
توجه چندپرس‌وجویی؛ ساختاری که چند سر پرس‌وجو را با یک مجموعهٔ مشترک کلید و مقدار ترکیب می‌کند.
تعریف کامل
اشتراک کلید و مقدار اندازهٔ حافظهٔ نهان را کاهش می‌دهد. کیفیت و سرعت واقعی به پیاده‌سازی و سخت‌افزار وابسته‌اند و با چندسری معمولی یکسان نیستند.
مثال کاربردی
برای تولید متن، حافظهٔ کلید و مقدار بین همهٔ سرها مشترک می‌شود.