ایمنی هوش مصنوعی
AI Safety
تعریف کوتاه
حوزه پژوهشی و عملیِ پیشگیری از آسیب‌های مدل‌های هوش مصنوعی، از سوگیری و توهم تا سوءاستفاده.
ایمنی هوش مصنوعی چتر همه تلاش‌هاست تا این فناوری به انسان آسیب نزند: جلوگیری از تولید محتوای خطرناک، مقاوم‌سازی مدل در برابر سوءاستفاده، راستی‌آزمایی خروجی‌ها و ساخت مکانیزم قطع اضطراری. شرکت‌ها تیم‌های اختصاصی امنیت دارند و دولت‌ها الزامات ایمنی را در قانون‌ها گنجانده‌اند.
برای کاربر عادی، ایمنی یعنی سه عادت: داده حساس را به سرویس عمومی ندادن، خروجی تصمیم‌ساز را راستی‌آزمایی کردن و درباره گفت‌وگوهای ماشینی شفاف بودن. برای متخصصان، حوزه‌های هم‌راستا مثل red-teaming و ترازسازی مدل، مسیر شغلی پرتقاضای امروز‌اند.
واژه‌های مرتبط
اخلاق هوش مصنوعی
مجموعه اصول پاسخ‌گویی به پرسش‌های درست و نادرست در طراحی و استفاده از هوش مصنوعی.
جدال بر سر هوش مصنوعی عمومی (AGI)
بحث داغ فناوری درباره زمان رسیدن به هوش مصنوعی عمومی، معنای آن و پیامدهایش برای بشر.
انسان در حلقه
الگوی طراحی که در آن تصمیم نهایی یا بازبینی انسان، بخش جدانشدنی از فرایند هوش مصنوعی می‌ماند.