Tensor Parallelism

این روش با تقسیم کل لایه‌ها در موازی‌سازی خط لوله متفاوت است. نیاز ارتباطی درون لایه زیاد است و سود آن به سخت‌افزار و اندازهٔ عملیات وابسته می‌ماند.

ستون‌های ماتریس وزن یک لایه بین چند شتاب‌دهنده تقسیم می‌شوند.