Rotary Position Embedding

حاصل‌ضرب بردارها به فاصلهٔ نسبی موقعیت‌ها وابسته می‌شود. پشتیبانی از متن بلندتر به سیاست آموزش و مقیاس‌بندی وابسته است و صرف استفاده از روپی تضمین نیست.

توکن‌های ابتدا و انتهای جمله با زاویه‌های موقعیتی متفاوت وارد توجه می‌شوند.