استنتاج (Inference)
Inference
تعریف کوتاه
مرحله استفاده از مدل آموزش‌دیده برای تولید خروجی، در مقابل مرحله آموزش.
در چرخه عمر هر مدل هوش مصنوعی دو مرحله اصلی داریم: آموزش که پرهزینه و طولانی است، و استنتاج یعنی همان لحظه‌ای که از مدل استفاده می‌کنید و پاسخ می‌گیرید. هزینه استنتاج — پردازش هر توکن — مبنای قیمت‌گذاری اکثر سرویس‌های ابری است.
برای تیم‌ها سؤال کلیدی این است: استنتاج را بخرند یا خودشان اجرا کنند؟ سرویس ابری شروع سریع و بدون دغدغه سخت‌افزار می‌دهد، اما اجرای محلی با مدل‌های متن‌باز در حجم استفاده بالا مقرون‌به‌صرفه‌تر و خصوصی‌تر است. بهینه‌سازی استنتاج، یکی از پرتقاضاترین تخصص‌های امروز بازار کار است.
واژه‌های مرتبط
یادگیری ماشین
روشی که در آن رایانه به‌جای برنامه‌نویسی مستقیم، از دل داده‌ها الگو یاد می‌گیرد و پیش‌بینی می‌کند.
تراشه‌های هوش مصنوعی
پردازنده‌های تخصصی مانند پردازنده‌های گرافیکی انویدیا که موتور محاسباتی آموزش و اجرای مدل‌ها هستند.
مدل‌های متن‌باز
مدل‌های هوش مصنوعی که وزن‌ها و کدشان برای همه در دسترس است و می‌توان آن‌ها را روی سخت‌افزار شخصی اجرا و شخصی‌سازی کرد.