اصطلاح هوش مصنوعی

Inter-Token Latency

تأخیر میان توکن‌ها

تأخیر میان توکن‌ها؛ زمان بین دریافت توکن‌های متوالی هنگام تولید جریانی.

تعریف کامل

میانگین به‌تنهایی مکث‌های طولانی را پنهان می‌کند؛ صدک‌ها و نحوهٔ گروه‌بندی خروجی باید بررسی شوند. این معیار با زمان تا نخستین توکن متفاوت است.

مثال کاربردی

پس از شروع پاسخ، فاصلهٔ معمول میان بخش‌های خروجی اندازه‌گیری می‌شود.
بازگشت به واژه‌نامه