توکن
Tokens
تعریف کوتاه
واحد شکستن متن در مدل‌های زبانی که تقریباً معادل یک واژه یا بخشی از آن است و مبنای محاسبه هزینه.
مدل‌های زبانی متن را نه به شکل کلمه، بلکه به شکل توکن می‌بینند؛ هر توکن می‌تواند یک واژه کامل، بخشی از واژه یا حتی یک نیم‌فاصله باشد. هزینه استفاده از APIها معمولاً بر اساس تعداد توکن ورودی و خروجی محاسبه می‌شود، بنابراین فهم این مفهوم مستقیماً روی هزینه شما اثر می‌گذارد.
یک قاعده سرانگشتی: هر هزار واژه انگلیسی حدود ۱۳۰۰ توکن است و متن فارسی به دلیل ساختار الفبا معمولاً توکن بیشتری مصرف می‌کند. اگر خروجی طولانی نمی‌خواهید، در پرامپت صریحاً مختصرجوابی را بخواهید؛ صرفه‌جویی در توکن یعنی صرفه‌جویی در هزینه و پنجره زمینه.
واژه‌های مرتبط
مدل زبانی بزرگ
مدل هوش مصنوعی که روی حجم عظیمی از متن آموزش دیده و می‌تواند متن بنویسد، خلاصه کند، ترجمه کند و کد تولید کند.
پنجره زمینه
حداکثر حجم متنی که مدل زبانی می‌تواند هم‌زمان در حافظه خود نگه دارد و پردازش کند.
دما (Temperature)
تنظیمی که میزان خلاقیت و تصادفی‌بودن خروجی مدل زبانی را کنترل می‌کند.