Exploding Gradient

این مشکل در بعضی شبکه‌های بازگشتی یا آموزش‌های ناپایدار دیده می‌شود. پایش نرم گرادیان، تنظیم نرخ یادگیری و برش گرادیان برای کنترل آن کاربرد دارند.

جهش ناگهانی زیان همراه با گرادیان بسیار بزرگ بررسی می‌شود.