توهم مدل
Hallucination
تعریف کوتاه
تولید اطلاعات نادرست اما با ظاهر کاملاً معتبر توسط مدل‌های هوش مصنوعی.
وقتی یک مدل زبانی با اطمینان کامل تاریخی یا آماری می‌گوید که وجود ندارد، دچار توهم شده است. این پدیده نقصی فنی است نه دروغ‌گویی عمدی؛ مدل صرفاً محتمل‌ترین واژه بعدی را حدس می‌زند و گاهی این حدس به واقعیت نمی‌رسد.
برای مقابله با توهم، منبع‌دار پرامپت بنویسید، از مدل بخواهید فقط بر اساس متن داده‌شده پاسخ دهد، از RAG استفاده کنید و اطلاعات حساس را همیشه راستی‌آزمایی کنید. در محتوای پزشکی، حقوقی و مالی، حضور انسان در حلقه نه توصیه، که ضرورت است.
واژه‌های مرتبط
مدل زبانی بزرگ
مدل هوش مصنوعی که روی حجم عظیمی از متن آموزش دیده و می‌تواند متن بنویسد، خلاصه کند، ترجمه کند و کد تولید کند.
تولید تقویت‌شده با بازیابی (RAG)
روشی که مدل زبانی را به منابع داده بیرونی وصل می‌کند تا پاسخ‌ها بر پایه اطلاعات واقعی و به‌روز تولید شوند.
انسان در حلقه
الگوی طراحی که در آن تصمیم نهایی یا بازبینی انسان، بخش جدانشدنی از فرایند هوش مصنوعی می‌ماند.