اصطلاح هوش مصنوعی

Time to First Token

زمان تا نخستین توکن

زمان تا نخستین توکن؛ فاصلهٔ شروع درخواست تا دریافت نخستین توکن خروجی در تولید جریانی.

تعریف کامل

این زمان شامل انتظار صف و پردازش اولیهٔ زمینه می‌تواند باشد. برای مقایسه باید مبدأ اندازه‌گیری و شرایط شبکه یکسان باشند؛ سرعت ادامهٔ تولید معیار دیگری است.

مثال کاربردی

کاربر نخستین بخش پاسخ را پس از ۸۰۰ میلی‌ثانیه دریافت می‌کند.
بازگشت به واژه‌نامه