معماری ترنسفورمر
Transformer Architecture
تعریف کوتاه
معماری شبکه عصبی مبتنی بر مکانیزم توجه که از سال ۲۰۱۷ انقلاب مدل‌های زبانی را آغاز کرد.
مقاله سال ۲۰۱۷ گوگل با عنوان «Attention Is All You Need» معماری ترنسفورمر را معرفی کرد و مسیر فناوری را تغییر داد. مکانیزم «توجه» به مدل اجازه می‌دهد هنگام پردازش هر واژه، به سراسر متن نگاه کند و بفهمد کدام بخش‌ها مهم‌اند؛ همین توانایی درک زمینه‌های طولانی، پایه GPT و تقریباً همه مدل‌های زبانی امروز است.
برای غیرمتخصصان، دانستن این‌که حرف T در نام GPT یعنی Transformer کافی است تا قدردان این معماری باشند؛ اما اگر می‌خواهید مهندس هوش مصنوعی شوید، مطالعه مکانیزم توجه نخستین قدم جدی شماست. این معماری امروز از ترجمه و ویدئو تا تحلیل پروتئین‌ها را فتح کرده است.
واژه‌های مرتبط
شبکه عصبی
مدلی محاسباتی الهام‌گرفته از مغز انسان که از لایه‌هایی از گره‌های متصل برای یادگیری الگوها استفاده می‌کند.
مدل زبانی بزرگ
مدل هوش مصنوعی که روی حجم عظیمی از متن آموزش دیده و می‌تواند متن بنویسد، خلاصه کند، ترجمه کند و کد تولید کند.
پردازش زبان طبیعی
شاخه‌ای از هوش مصنوعی که به رایانه‌ها توانایی درک، تحلیل و تولید زبان انسانی را می‌دهد.