Fine-tuning و PEFT
Adapterآداپتر
آداپتر؛ بخش کوچک قابل‌آموزشی که به یک مدل از پیش آموزش‌دیده اضافه می‌شود تا مدل برای یک وظیفه یا حوزه خاص تنظیم شود.
مشاهدهٔ جزئیاتدانشنامهٔ Noventix
واژه‌نامهٔ هوش مصنوعی
مفاهیم و اصطلاحات هوش مصنوعی را عمیق‌تر بشناس.
۳۴۵ اصطلاح آموزشی۲۵ حوزهٔ موضوعیرایگان برای همه
مرور سریع
از الفبا شروع کن
دسته‌بندی‌ها
۳۷ اصطلاحموضوع موردنظرت را انتخاب کن
نتایج فیلترشدهحذف فیلترها
Fine-tuning و PEFT
Batch Sizeاندازه بچ
اندازه بچ؛ تعداد نمونه‌هایی که مدل در هر مرحله آموزش پردازش می‌کند. اندازه بچ روی سرعت آموزش، مصرف حافظه و پایداری فرآیند یادگیری اثر می‌گذارد و مقدار مناسب آن به مدل و سخت‌افزار بستگی دارد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Continuous Learningیادگیری پیوسته
یادگیری پیوسته؛ توانایی سیستم برای آپدیت شدن و یادگیری از داده‌های جدید در طول زمان. در این رویکرد مدل یا سیستم به شکل مداوم با داده‌های جدید به‌روزرسانی می‌شود؛ البته کیفیت داده جدید باید کنترل شود.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Convergenceهمگرایی
همگرایی؛ نقطه‌ای در آموزش که در آن خطا کم تغییر می‌کند و مدل به حالت پایدار رسیده است. همگرایی مناسب معمولا نشان می‌دهد فرآیند بهینه‌سازی به ناحیه‌ای رسیده که تغییرات آن کوچک شده‌اند.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Data Augmentationتقویت داده
تقویت داده؛ ایجاد نسخه‌های کمی تغییرکرده از داده‌های موجود برای افزایش حجم داده آموزشی. برای تصویر می‌توان کارهایی مثل چرخش یا تغییر جزئی انجام داد و برای برخی داده‌های دیگر نیز روش‌های مناسب افزایش داده وجود دارد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Data Labelingبرچسب‌گذاری داده
برچسب‌گذاری داده؛ اضافه کردن پاسخ صحیح (برچسب) به نمونه‌ها برای آموزش مدل. برچسب‌های باکیفیت اهمیت زیادی دارند، چون مدل در بسیاری از روش‌های نظارت‌شده مستقیما از همین پاسخ‌های صحیح یاد می‌گیرد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Distillation / Knowledge Distillationتقطیر دانش
تقطیر دانش؛ روشی برای آموزش یک مدل کوچک‌تر با استفاده از دانش یا خروجی‌های یک مدل بزرگ‌تر تا با هزینه کمتر عملکرد مناسبی داشته باشد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Distributed Trainingآموزش توزیع‌شده
آموزش توزیع‌شده؛ آموزش مدل روی چندین دستگاه یا سرور برای سرعت بیشتر. با تقسیم فرآیند آموزش بین چند پردازنده یا ماشین می‌توان آموزش مدل‌های بزرگ را سریع‌تر یا امکان‌پذیرتر کرد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Domain Adaptationسازگاری دامنه
سازگاری دامنه؛ تنظیم مدل برای عملکرد بهتر روی نوع جدیدی از داده‌ها. این روش زمانی مهم است که داده‌ای که مدل در محیط واقعی می‌بیند با داده آموزشی اولیه تفاوت داشته باشد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Epochدوره
دوره؛ یک عبور کامل مدل از روی تمام داده‌های آموزشی. تعداد Epoch یکی از عوامل مؤثر بر میزان آموزش است و زیاد بودن آن همیشه به معنی عملکرد بهتر نیست.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Federated Learningیادگیری فدره
یادگیری فدره؛ آموزش مدل روی چند دستگاه بدون جمع کردن همه داده‌ها در یک جا، برای حفظ حریم خصوصی. داده خام روی دستگاه‌ها باقی می‌ماند و معمولا فقط اطلاعات لازم برای به‌روزرسانی مدل بین آن‌ها ردوبدل می‌شود.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Few-Shot Learningیادگیری کم‌نمونه
یادگیری کم‌نمونه؛ توانایی مدل برای یادگیری از تعداد کمی مثال. در این روش چند نمونه در اختیار مدل قرار می‌گیرد تا بدون آموزش کامل دوباره، الگوی موردنظر را بهتر درک کند.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Fine-Tuning Dataداده تنظیم دقیق
داده تنظیم دقیق؛ نمونه‌های جفت ورودی و پاسخ مطلوب که برای تخصصی‌کردن مدل پس از آموزش عمومی استفاده می‌شود.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Fine-tuningتنظیم دقیق
تنظیم دقیق؛ آموزش بیشتر یک مدل از پیش آموزش‌دیده روی داده‌های خاص. Fine-tuning زمانی مفید است که بخواهیم یک مدل عمومی را برای سبک، وظیفه یا حوزه مشخصی تخصصی‌تر کنیم.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Gradient Descentگرادیان کاهشی
گرادیان کاهشی؛ روش به‌روزرسانی پارامترها در جهت کاهش خطا؛ نرخ یادگیری تعیین می‌کند هر گام چقدر بزرگ باشد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Hyperparameterفراپارامتر
فراپارامتر؛ تنظیماتی مثل نرخ یادگیری یا تعداد لایه‌ها که قبل از آموزش تعیین می‌شوند. این تنظیمات از پارامترهای داخلی مدل متفاوت‌اند، چون معمولا توسط طراح یا فرآیند تنظیم مدل تعیین می‌شوند.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Hyperparameter Tuningتنظیم فراپارامتر
تنظیم فراپارامتر؛ جست‌وجو برای پیدا کردن بهترین تنظیمات مدل. روش‌هایی مانند جست‌وجوی شبکه‌ای، جست‌وجوی تصادفی و بهینه‌سازی بیزی برای این کار استفاده می‌شوند.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Instruction Tuningتنظیم بر اساس دستور
تنظیم بر اساس دستور؛ آموزش مدل با نمونه‌هایی از دستور و پاسخ برای اینکه بهتر دستورهای انسانی را دنبال کند.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Labelled Dataداده برچسب‌دار
داده برچسب‌دار؛ داده‌ای که برای هر نمونه پاسخ درست آن مشخص شده است؛ پیش‌نیاز روش‌های یادگیری نظارت‌شده.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Learning Rateنرخ یادگیری
نرخ یادگیری؛ عددی که تعیین می‌کند مدل در هر مرحله چقدر وزن‌ها را تغییر دهد. اگر نرخ یادگیری خیلی بزرگ باشد آموزش ممکن است ناپایدار شود و اگر خیلی کوچک باشد یادگیری بسیار کند خواهد شد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
LoRA (Low-Rank Adaptation)سازگاری با رتبه پایین
سازگاری با رتبه پایین؛ روش سبک برای تنظیم دقیق مدل‌های بزرگ با اضافه کردن تعداد کمی پارامتر. LoRA به‌خصوص برای تخصصی‌سازی مدل‌های بزرگ با هزینه محاسباتی و حافظه کمتر از Fine-tuning کامل محبوب است.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Machine Teachingآموزش به ماشین
آموزش به ماشین؛ طراحی نظام‌مند نمونه‌ها، برچسب‌ها و بازخوردی که به مدل داده می‌شود تا رفتار هدف را با کمترین داده اضافی بیاموزد.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Meta Learningیادگیری فرا
یادگیری فرا؛ «یادگیری چگونه‌یادگرفتن»؛ روشی که مدل از تجربه چند وظیفه، قواعد یادگیری کارآمدتر یا نقطه شروع بهتری برای وظیفه جدید پیدا می‌کند.
مشاهدهٔ جزئیاتFine-tuning و PEFT
Optimizerبهینه‌ساز
بهینه‌ساز؛ الگوریتمی مثل Adam یا SGD که وزن‌ها را در طول آموزش تغییر می‌دهد. Optimizer با استفاده از گرادیان یا روش‌های دیگر تعیین می‌کند پارامترهای مدل در هر مرحله چگونه به‌روزرسانی شوند.
مشاهدهٔ جزئیات