AdamW
بهینه‌ساز آدام‌دبلیو
بهینه‌ساز آدام‌دبلیو؛ گونه‌ای از آدام که کاهش وزن را از به‌روزرسانی مبتنی بر گرادیان جدا می‌کند.
تعریف کامل
این جداسازی باعث می‌شود کاهش وزن با جریمهٔ ال‌دو در آدام معمولی یکسان نباشد. شدت کاهش وزن و گروه‌های پارامتر باید آگاهانه انتخاب شوند.
مثال کاربردی
برای وزن‌های لایه‌ها کاهش وزن اعمال می‌کنیم ولی سیاست بایاس‌ها را جدا مشخص می‌کنیم.