Vanishing Gradient

زنجیرهٔ مشتق‌های کوچک می‌تواند سیگنال آموزش را تضعیف کند. اتصال‌های باقیمانده، مقداردهی مناسب و انتخاب فعال‌سازی از راه‌های کاهش مشکل‌اند، نه تضمین رفع آن.

لایه‌های ابتدایی یک شبکهٔ بسیار عمیق تقریباً به‌روزرسانی نمی‌شوند.