MoE (Mixture of Experts)
مخلوط خبرگان
مخلوط خبرگان؛ معماری‌ای که چند زیرمدل تخصصی را ترکیب می‌کند تا بهره‌وری و کیفیت بهتر شود. در MoE معمولا برای هر ورودی فقط بخشی از Expertها فعال می‌شوند و همین موضوع می‌تواند استفاده از مدل بزرگ را کارآمدتر کند.
تعریف کامل
مخلوط خبرگان؛ معماری‌ای که چند زیرمدل تخصصی را ترکیب می‌کند تا بهره‌وری و کیفیت بهتر شود. در MoE معمولا برای هر ورودی فقط بخشی از Expertها فعال می‌شوند و همین موضوع می‌تواند استفاده از مدل بزرگ را کارآمدتر کند.