Model Sharding

این روش برای جاگیری مدل بزرگ کاربرد دارد ولی ارتباط بین دستگاه‌ها هزینه دارد. شیوهٔ تقسیم و پهنای باند تعیین می‌کنند افزایش دستگاه واقعاً سرعت را بیشتر می‌کند یا نه.

لایه‌های یک مدل بزرگ روی دو شتاب‌دهنده قرار می‌گیرند.