تعریف
روشی که مدل با آن به بخشهای مرتبطتر ورودی وزن بیشتری میدهد و روابط بلندبرد بین توکنها را درک میکند.
توضیح کامل
هر توکن سه بردار Query، Key و Value دارد. امتیاز توجه از ز توجه از ضرب Q در K محاسبه و نرمال میشود، سپس د. توجه چندسری (Multi-Head) این فرآیند را با دیدگاههای مختلف موازی اجرا میکند. پیچیدگی محاسباتی $O(n^2)$ نسبت به طول ورودی چالش اصلی آن است.
مثال کاربردی
در ترجمه جمله «بانک رودخانه» مدل میداند که «بانک» به «رودخانه» توجه کند نه به «پول».