GELU

برخلاف رلو، منفی‌ها را ناگهان صفر نمی‌کند. پیاده‌سازی‌ها ممکن است از تقریب استفاده کنند؛ انتخاب تابع باید همراه معماری و هزینهٔ محاسبه ارزیابی شود.

در بلوک پیش‌خور یک ترنسفورمر از فعال‌سازی هموار گلو استفاده می‌شود.