جنگ خزشنده‌ها؛ چه کسی حق دارد اینترنت را بخواند؟
شرکت‌های هوش مصنوعی برای آموزش مدل‌ها اینترنت را می‌خزند و ناشران جلویشان را می‌گیرند؛ تحلیل نبرد خزشنده‌ها، قیمت داده و آیندهٔ دسترسی آزاد به وب.
سال‌ها بود که «خزندهٔ وب» موجودی بی‌سروصدا بود: ربات گوگل می‌آمد، صفحات را می‌خواند و در ازایش بازدید می‌فرستاد. اما با ورود ربات‌های شرکت‌های مدل‌ساز، معادله عوض شد: خزشنده‌های هوش مصنوعی محتوا را می‌خوانند و در ازایش، نه لینک می‌فرستند و نه اجازه می‌خواهند. نتیجه، جنگی است که در پشت فایل‌های پیکربندی و قراردادهای حقوقی جریان دارد و نتیجه‌اش، شکل وبِ دههٔ آینده را تعیین می‌کند.
دعوا از کجا شروع شد؟
سه منفعت در تقابل است. از دید مدل‌سازها، هر متن عمومی، مادهٔ اولیهٔ آموزش است؛ هرچه متنوع‌تر و پاک‌تر، مدل بهتر. از دید ناشران و سایت‌ها، همین برداشتِ رایگان، دو هزینه دارد: بار سرورِ اضافه و مهم‌تر، خطرِ آن‌که پاسخ‌های جست‌وجوی هوشمند به‌جای فرستادن کاربر به سایت، خلاصهٔ همان محتوا را مستقیم نمایش دهد — یعنی برداشت محصول بدون خریدار. از دید کاربران هم پرسشی وجود دارد: اگر محتوا در ازای دیده‌شدن تولید می‌شود و دیده‌شدن حذف شود، چه کسی دیگر محتوا می‌سازد؟
پاسخ اولیهٔ ناشران، سلاح قدیمی وب بود: فایل robots و فهرست‌های مسدودسازی. بخش بزرگی از سایت‌های خبری معتبر، ربات‌های مشخصی از مدل‌سازها را مسدود کردند و ارائه‌دهندگان زیرساخت، مسدودسازیِ یک‌کلیکی را به محصول خود اضافه کردند؛ در نتیجه، سهم قابل‌توجهی از دادهٔ تازهٔ وب، از چرخهٔ آموزش رایگان بیرون رفت. پاسخ مدل‌سازها دو شاخه شد: امضای قراردادهای مجوز — همان موجی که در تحلیل قرارداد ناشران با غول‌های هوش مصنوعی بررسی کردیم — و چرخش به داده‌های مالکیت شخصی و تولیدشده توسط خود مدل‌ها.
جدول: بازیگران جنگ خزشنده‌ها
| بازیگر | هدف اصلی | ابزار دستیابی | نقطهٔ ضعف |
|---|---|---|---|
| مدل‌سازان بزرگ | دادهٔ تازه و معتبر | قرارداد، ربات اختصاصی | هزینهٔ حقوقی و اعتباری خزیدن بدون اجازه |
| ناشران بزرگ | درآمد از داده + حفظ ترافیک | مسدودسازی و امضای قرارداد | وابستگی به دیده‌شدن در پلتفرم‌های جدید |
| سایت‌های کوچک | محافظت از محتوای نزدیک به صفر هزینه | robots و ابزار مسدودسازی | نداشتن قدرت چانه‌زنی |
| سازندگان مرورگر و زیرساخت | فروش «طبقهٔ دسترسی» به وب | فیلترینگ سطح شبکه | تضاد منافع و سؤال بی‌طرفی |
اثر بر مدیر سایت فارسی؛ از نظریه تا فایل robots
برای مدیر وب‌سایت فارسی، این جنگ نه حقوقی که عملی است و سه تصمیم عملی پیشِ رویش است:
۱. تصمیم دربارهٔ خزش. اگر محتوای شما عمومی و اطلاعاتی است، مسدود کردن ربات‌ها معمولاً صرفه ندارد و حتی ممکن است از معرفی برند در پاسخ‌های هوشمند محروم بمانید؛ اگر محتوای تخصصی و ارزشمند دارید (پژوهش، دادهٔ اختصاصی، آرشیو)، سخت‌گیری منطقی است — به‌شرط آن‌که نسخهٔ اجازه‌دار و قیمت‌گذاری‌شده هم ارائه دهید. ۲. تصمیم دربارهٔ محتوا. محتوایی که صرفاً بازنویسی خبرهای دیگران است، در این اقتصاد تازه ارزشی ندارد؛ سرمایه‌گذاری روی داده و تجربهٔ منحصربه‌فرد، تنها دارایی‌ای است که طرف معامله می‌شود. نکاتی که در تحلیل حکم‌های کپی‌رایت هم دیدیم، همین جهت را تأیید می‌کند. ۳. تصمیم دربارهٔ سنجش. ترافیک، دیگر تنها شاخص نیست؛ رصد «ارجاع از دستیارهای هوشمند» باید در داشبورد شما جای ثابت داشته باشد تا تصویر واقعی مخاطب را ببینید.
آیندهٔ وب؛ سه سناریو
سناریوی اول، وب دوباره‌قیمت‌گذاری‌شده: دسترسی به دادهٔ باکیفیت پولی و قراردادی می‌شود و وبِ عمومی به لایه‌ای تبلیغاتی و پرنویز تبدیل می‌شود. سناریوی دوم، تعادل ناشی از قرارداد: استانداردسازی اجازه و پرداخت، مسیر مشابهی با موسیقی دیجیتال پیدا می‌کند — ناشر اجازه می‌دهد، پلتفرم می‌پردازد، سازوکار ارجاع به منبع حفظ می‌شود. سناریوی سوم، شکاف دوگانه: بخشی از وب پشت دیوار پرداخت و بخشی در ازای دیده‌شدن رایگان — ترکیبی که فعلاً محتمل‌ترین است.
جمع‌بندی
جنگ خزشنده‌ها، در واقع اولین مذاکرهٔ جمعی تاریخ وب بر سر «ارزش داده» است. هر کسی که محتوا می‌سازد — از خبرگزاری بزرگ تا وبلاگ‌نویس فارسی — در این مذاکره سهم دارد و ابزارش، تصمیم‌های روزمرهٔ فنی و محتوایی است. اینترنت رایگان نیست که از بین برود؛ در حال قیمت‌گذاری‌شدن است و در هر قیمت‌گذاری، آگاه‌ترین طرف برنده است.
پرسش‌های پرتکرار
آیا باید ربات‌های هوش مصنوعی را در سایت خود مسدود کنم؟
قاعدهٔ سرانگشتی: محتوای عمومی و اطلاعاتی را آزاد بگذارید (دیده‌شدن مهم‌تر است) و محتوای اختصاصی و داده‌محور را محافظت کنید؛ تصمیم قطعی به مدل درآمد سایت شما بستگی دارد.
مسدود کردن ربات‌ها به سئوی گوگل آسیب می‌زند؟
اگر فقط ربات‌های مشخصِ مدل‌سازها را هدف بگیرید، خیر؛ ربات گوگل جدا از آن‌هاست و فهرست‌های استاندارد مسدودسازی، این تمایز را رعایت می‌کنند.
آیا خلاصه‌سازی هوشمند واقعاً ترافیک سایت‌ها را کم کرده است؟
برای سایت‌های پاسخ‌محور (تعاریف و پاسخ‌های ساده) افت کلیک دیده می‌شود و برای محتوای عمیق و چندصفحه‌ای، بخشی از ترافیک به ارجاع از دستیارها جابه‌جا شده؛ تصویر نهایی هنوز در حال شکل‌گیری است و به نوع محتوا بستگی دارد.
این مطلب برایتان مفید بود؟
با پسندیدن، به ما کمک می‌کنید مطالب بهتری منتشر کنیم.
