تست A/B پرامپت؛ سنجش واقعی به‌جای حس و حال
کدام پرامپت بهتر است؟ بدون تست، فقط حدس است؛ آموزش روش تست A/B پرامپت‌ها با ورودی ثابت، داور بی‌طرف و جدول نتیجه‌گیری.
«این پرامپت بهتر جواب می‌دهد» بدون تست، فقط یک احساس است. تست A/B پرامپت یعنی دو نسخه را روی ورودی‌های یکسان اجرا کنید، با معیارهای از قبل تعیین‌شده بسنجید و برنده را با داده انتخاب کنید. برای هرکس که پرامپت‌هایش «کار تکراری» هستند، این مهارت یعنی صرفه‌جویی واقعی.
قواعد آزمون منصف
۱. ورودی ثابت: هر دو نسخه روی همان ورودی‌ها اجرا شوند — بدون این، مقایسه بی‌معناست. ۲. معیار از قبل: قبل از دیدن خروجی، سه معیار بنویسید؛ بعد از دیدن، معیار عوض نکنید. ۳. تعداد کافی: سه ورودی کم است؛ پنج تا هفت ورودی واقعی، حداقلِ قابل قبول است. ۴. داور جدا: برای سنجش نهایی، از یک چت تازه (بدون سوگیری دو پرامپت) بخواهید داوری کند.
قالب ۱ — اجرای مقایسه‌ای در یک پرامپت
وظیفه: دو نسخه پرامپت را روی «هر ورودی» جدا اجرا کن و کنار هم بگذار.
نسخهٔ الف: [پرامپت اول]
نسخهٔ ب: [پرامپت دوم]
ورودی‌ها (پنج مورد واقعی):
۱. [ورودی ۱] … ۵. [ورودی ۵]
معیارهای من (به ترتیب اهمیت):
۱) [معیار ۱] ۲) [معیار ۲] ۳) [معیار ۳]
خروجی برای هر ورودی: جدول با ستون‌های ورودی | خروجی الف | خروجی ب.
در پایان: رأی نهایی بر اساس معیارها + یک خط «کدام معیار برنده را ساخت».
قالب ۲ — داوری بی‌طرف بعد از اجرا
نقش تو: داور مسابقهٔ نوشتاری که نمی‌داند کدام خروجی از کدام پرامپت است.
پنج جفت خروجی (الف/ب) با معیارهای [معیارها]:
[جفت ۱] … [جفت ۵]
وظیفه: برای هر جفت، برنده را با یک دلیلِ مشخص بر اساس معیارها اعلام کن؛
برای جفت‌های بسیار نزدیک، «مساوی» بگو و دلیلش را بنویس.
در پایان: جمع‌بندی کل + دو خط «بهترین ویژگی هر نسخه چیست».
قاعده: بدون تعارف؛ اگر هر دو بدند، صریح بگو.
جدول ثبت نتیجه
| مورد | الف | ب | برنده | بر اساس کدام معیار |
|---|---|---|---|---|
| ورودی ۱ | … | … | ||
| ورودی ۲ | … | … | ||
| جمع | نتیجهٔ نهایی | معیار تعیین‌کننده |
خطاهای رایج
تعداد کم ورودی: با یک نمونه، نتیجه‌گیری نکنید — همان یک نمونه، شاید اتفاقی بود. معیار بعد از دیدن: تقلب در آزمون خودتان است؛ معیار را قبل از اجرا قفل کنید. حذف نسخهٔ برنده از کتابخانه: بعد از هر تست، نسخهٔ برنده را در کتابخانهٔ پرامپت با نسخهٔ جدید ثبت کنید.
تست در ابزارهای مختلف
وقتی می‌خواهید بین دو ابزار (نه دو پرامپت) مقایسه کنید، همین روش با یک ترفند اجرا می‌شود: هر دو را با یک پرامپت واحد اجرا کنید — الگوی کاملش در مقایسهٔ پرامپت در ChatGPT و Claude و Gemini آمده است. برای بهبود نسخه‌های بازنده، بهینه‌سازی تکرارشونده را اجرا کنید.
جمع‌بندی
هر پرامپتِ مهمِ تکراری‌تان را یک بار A/B کنید: ورودی ثابت + معیار قبلی + داور جدا. همین یک عادت، در طول یک سال جلوی صدها خروجی متوسط را می‌گیرد.
مثال عملی: A/B یک پرامپت کپشن
نسخهٔ الف: قالب کپشن با لحن و مخاطب، بدون ممنوعه‌ها. نسخهٔ ب: همان با بستهٔ ممنوعه («بی‌نظیر»، «شگفت‌انگیز»، فراخوان «نظرتون چیه؟»). پنج ورودی واقعی: معرفی دمنوش، اعلام ساعت کاری جدید، پست پشت‌صحنه، معرفی کارگاه، تشکر از مشتریان. اجرای مقایسه‌ای روی هر پنج ورودی، ده خروجی می‌دهد؛ سپس داوری با سه معیار از پیش تعیین‌شده: طبیعی‌بودن لحن، تناسب با برند، نیاز به ویرایش (هر کدام از ۱ تا ۵). نتیجهٔ نمونهٔ واقعی: ب در «طبیعی‌بودن» چهار برد و یک مساوی گرفت؛ الف در دو مورد نیاز به ویرایش کمتر داشت چون جمله‌ها ساده‌تر بودند. جمع‌بندی نهایی: ب برای پست‌های معرفی (کلیشه در آن‌ها آزار اصلی است) و الف برای پشت‌صحنه (لحن آزاد بهتر جواب می‌دهد). دقت کنید نتیجه، «برندهٔ مطلق» نگفته است؛ گفته کدام نسخه برای کدام نوع کار — این خروجی واقعی A/B است و فقط با ورودی ثابت و معیار قبلی به دست می‌آید. کل این آزمون حدود بیست دقیقه طول می‌کشد و نتیجه‌اش — دو پرامپت شناخته‌شده برای دو نوع کار — ماه‌ها استفاده می‌شود؛ ارزش عادت A/B همین است: تصمیم‌های پراکندهٔ سلیقه‌ای به چند آزمون سالانهٔ کوچک تبدیل می‌شوند.
پرسش‌های پرتکرار
چند بار در ماه تست کنم؟
برای پرامپت‌های پرمصرف، یک بار در ماه؛ برای بقیه، وقتی «حس» افت کیفیت دارید.
داوری مدل قابل اعتماد است؟
با معیارهای صریح، بله؛ بدون معیار، به تعریف از خروجی‌ها می‌افتد — معیار را حتماً بدهید.
A/B برای پرامپت تصویر هم هست؟
بله؛ با معیارهای بصری (تناسب با برند، نور، ترکیب‌بندی) در پرامپت تصویر.
اگر نتیجه مساوی شد؟
مساوی یعنی هر دو قابل استفاده‌اند؛ هر دو را در کتابخانه با برچسب کاربرد نگه دارید و در انتخاب، معیار ثانویه (سرعت ویرایش، طول پرامپت) بیاورید. مساوی شکست آزمون نیست؛ اطلاعاتی است که فقط با تست به دست می‌آید.
این مطلب برایتان مفید بود؟
با پسندیدن، به ما کمک می‌کنید مطالب بهتری منتشر کنیم.
