Attention Mechanism

سازوکار توجه

سازوکار توجه؛ بخشی از مدل‌های ترانسفورمر که روی قسمت‌های مهم‌تر ورودی تمرکز می‌کند. این سازوکار به مدل کمک می‌کند هنگام پردازش یک بخش از ورودی، ارتباط آن با بخش‌های مهم دیگر را بهتر در نظر بگیرد.