توکن (Token) چیست؟ توضیح ساده و کاربردی
توکن (Token) یعنی چه؟ واحد شکستن متن در مدلهای زبانی که میتواند یک کلمه یا بخشی از آن باشد. هزینه و محدودیت استفاده از مدلها معمولاً بر پای
واژه‌های تخصصی، درِ ورود به هر حوزه‌اند؛ وقتی «توکن» را درست بفهمید، نصف راه یادگیری آن حوزه را رفته‌اید. این تعریف ساده بخشی از واژه‌نامه هوش مصنوعی امروزینو است.
توکن به زبان ساده
واحد شکستن متن در مدلهای زبانی که میتواند یک کلمه یا بخشی از آن باشد. هزینه و محدودیت استفاده از مدلها معمولاً بر پایه شمار توکن محاسبه میشود.
چرا دانستنش مهم است؟
این مفهوم در تصمیمهای روزمره حوزه هوش مصنوعی مدام تکرار میشود؛ نادیده گرفتنش یعنی تصمیم‌گیری ناقص.
توکن با یک مثال عددی
جملهٔ «هوش مصنوعی دنیا را تغییر می‌دهد» را مدل نمی‌بیند؛ چیزی که می‌بیند تکه‌های کوچک‌تر است: حدود ۷ تا ۹ توکن فارسی. چرا کلمه نه؟ چون توکن‌ساز با فراوانی کار میکند: تکه‌های پرتکرار را یک‌جا نگه می‌دارد و واژه‌های کمیاب را می‌شکند. واژهٔ انگلیسی «unbelievable» سه توکن میشود: un + believ + able. برای فارسی، قاعدهٔ عملی مهم‌تر است: هر کلمهٔ فارسی به‌طور میانگین ۲ تا ۳ توکن میشود (به‌خاطر نیم‌فاصله‌ها، پسوندها و «می» جدا). نتیجهٔ مستقیم: متن ۱٫۰۰۰ کلمه‌ای فارسی حدود ۲٫۵۰۰ توکن است، در برابر حدود ۱٫۳۰۰ توکن برای همین متن انگلیسی — و چون قیمت‌ها و پنجرهٔ زمینه بر پایهٔ توکن‌اند، فارسی گران‌تر و پنجره‌خورتر از انگلیسی تمام میشود.
کاربردهای واقعی در ۲۰۲۶
- برآورد هزینهٔ API: هر سرویس نرخ خودش را به‌ازای یک میلیون توکن می‌گوید؛ حسابِ توکنی، پایهٔ بودجه‌بندی هر پروژه است.
- مدیریت پنجرهٔ زمینه: سند چندصفحه‌ای، مجموع توکن‌هایش تعیین میکند که در پنجره جا میشود یا نه — و چه بخشی باید خلاصه شود.
- قیمت‌گذاری ابزارها: اعتبار ماهانهٔ خیلی از ابزارهای هوش مصنوعی، همان توکن است؛ کاربر حرفهای می‌داند چرا «۳۰ هزار توکن باقی مانده» یعنی چند صفحه.
اشتباه رایج در فهم توکن
«توکن همان کلمه است» — ساده‌سازی گران. مرز کلمه، فاصله است؛ مرز توکن، فراوانی آماری. «و» یک توکن است، «موسیقی‌شناسی» سه‌تکه میشود. همین فرق ظریف، رفتار عجیب مدلها را توضیح می‌دهد: چرا شمارش حروف توسط مدلها خطا دارد (حروفِ داخل توکن را «نمی‌بیند»)، چرا متن فارسی گران‌تر تمام میشود، و چرا تکرار یک واژهٔ کمیاب، هزینه را نامتناسب بالا می‌برد.
تفاوت با کلمه
کلمه، واحدِ زبان‌شناسی است با مرز روشن: فاصله و نشانه‌گذاری. توکن، واحدِ اقتصادی-فنی مدل‌هاست با مرزِ آماری: هر چه پرتکرارتر، توکنِ درشت‌تر. یک کلمه میتواند یک توکن باشد، دو توکن، یا نصفش با کلمهٔ بعدی ترکیب شود. برای انسانِ عادی، توکن فقط واحدِ قیمت و ظرفیت است — مثل واحد پولی کشور دیگری که برای سفر باید ردش کنید.
مفاهیم مرتبط
جمع‌بندی
توکن (Token) را حالا می‌شناسید؛ قدم بعدی، دیدن این مفهوم در عمل است. برای عمق بیشتر، مطالب بخش هوش مصنوعی را دنبال کنید.
سؤالات پرتکرار
توکن چیست و به چه دردی میخورد؟
واحد شکستن متن در مدلهای زبانی که میتواند یک کلمه یا بخشی از آن باشد. هزینه و محدودیت استفاده از مدلها معمولاً بر پایه شمار توکن محاسبه میشود.
توکن برای چه کسانی مهم است؟
برای هر کسی که میخواهد در حوزه هوش مصنوعی حرفهای باتخصصتر بزند و تصمیمهای بهتر بگیرد.
توکنهای متنم را از کجا و چطور بشمارم؟
اکثر سرویسها شمارندهٔ رسمی توکن دارند که متن را میچسبانید و عدد میگیرد؛ برای تخمین ذهنی همین قاعده کافی است: تعداد کلماتِ فارسی را در ۲٫۵ ضرب کنید (انگلیسی ۱٫۳). قبل از ارسال اسناد بلند، همین تخمین از سقفخوردن هزینه و پنجره جلوگیری میکند.
چرا پاسخ مدل وسط جمله قطع شد؟
به سقف توکنِ خروجی خوردهاید: هر پاسخ حداکثری دارد که یا در تنظیمات است یا در طرح سرویس شما. دو راه: درخواستِ ادامه بدهید («از همانجا ادامه بده») یا خروجی را تکهای بخواهید — ابتدا ساختار، بعد هر بخش جداگانه. برای متنهای بلند، راه دوم همیشه تمیزتر است.
چطور تخمین بزنم متن من چند توکن است؟
قاعدهٔ سرانگشتی برای انگلیسی: هر توکن تقریباً چهار کاراکتر یا سه‌چهارم یک واژه است؛ متن ۱۰۰ واژه‌ای حدود ۱۳۰ تا ۱۵۰ توکن میشود. فارسی کمی توکن‌برگیرتر است چون توکنایزرهای عمومی روی آن کمتر بهینه‌اند. برای برآورد دقیق، همان ابزار توکنایزرِ خود مدل را در مستندات رسمی استفاده کنید؛ این تخمین برای کنترل هزینهٔ API واقعاً لازم است، نه تفننی.
مطالب مرتبط
- مهندسی پرامپت (Prompt Engineering) چیست؟ توضیح ساده و کاربردی
- هذیان مدل (Hallucination) چیست؟ توضیح ساده و کاربردی
- جاسازی برداری (Embedding) چیست؟ توضیح ساده و کاربردی
- عامل هوشمند (AI Agent) چیست؟ توضیح ساده و کاربردی
- بینایی ماشین (Computer Vision) چیست؟ توضیح ساده و کاربردی
- ترجمه ماشینی (Machine Translation) چیست؟ توضیح ساده و کاربردی
این مطلب برایتان مفید بود؟
با پسندیدن، به ما کمک می‌کنید مطالب بهتری منتشر کنیم.
