Time to First Token
زمان تا نخستین توکن
زمان تا نخستین توکن؛ فاصلهٔ شروع درخواست تا دریافت نخستین توکن خروجی در تولید جریانی.
تعریف کامل
این زمان شامل انتظار صف و پردازش اولیهٔ زمینه میتواند باشد. برای مقایسه باید مبدأ اندازهگیری و شرایط شبکه یکسان باشند؛ سرعت ادامهٔ تولید معیار دیگری است.
مثال کاربردی
کاربر نخستین بخش پاسخ را پس از ۸۰۰ میلیثانیه دریافت میکند.
