ReLU
واحد خطی یکسوساز
واحد خطی یکسوساز؛ تابع فعال‌سازی که مقدار مثبت را حفظ و مقدار منفی را صفر می‌کند.
تعریف کامل
فرمول آن بیشینهٔ صفر و ورودی است. سادگی محاسبه مزیت آن است، اما نورون‌هایی که همواره ورودی منفی می‌گیرند ممکن است گرادیان مؤثری دریافت نکنند.
مثال کاربردی
ورودی منفی ۳ به صفر و ورودی ۵ به ۵ تبدیل می‌شود.