المحوّلات وآلية الانتباه

حتى الآن، كان لكل تمثيل العيب نفسه: لم يكن يعرف أي كلمة ينبغي أن ينظر إليها. فنموذج حقيبة الكلمات يتجاهل الترتيب. والتضمينات الثابتة تمنح كل كلمة متجهًا جامدًا. أما الشبكات التكرارية، التي هيمنت على المجال حتى عام 2017، فتقرأ الجملة كلمةً كلمة مع الاحتفاظ بذاكرة — لكن هذه الذاكرة تتلاشى، والحساب فيها تسلسلي بحكم بنيتها: لا يمكن معالجة الكلمة الخمسين قبل معالجة الكلمة التاسعة والأربعين.

لنأخذ الجملة الفرنسية «Le rapport que la commission avait commandé au cabinet parisien il y a deux ans est enfin arrivé». لضبط الإسناد في «arrivé»، يجب ربط هذا اسم المفعول بـ«rapport» الذي يسبقه بثلاث عشرة كلمة، مع تجاهل جميع الأسماء الواقعة بينهما. على الشبكة التكرارية أن تنقل هذه المعلومة عبر ثلاث عشرة خطوة متتالية، فتخفت أثناء ذلك. هذه هي مشكلة الاعتماديات بعيدة المدى، واللغة الفرنسية، بجمل الصلة المتداخلة وحالات الاتفاق عن بُعد، تنتجها باستمرار.

جاءت مقالة Attention Is All You Need التي نشرها Vaswani وزملاؤه عام 2017 لتحل المشكلتين دفعة واحدة بفكرة بسيطة بساطة مذهلة: بدلًا من نقل المعلومة من كلمة إلى أخرى بالتتابع، لندع كل كلمة تنظر مباشرة إلى جميع الكلمات الأخرى، ولنتعلّم مقدار ما ينبغي أن تنظر به إلى كل واحدة منها. تختفي المسافة — إذ تصل «arrivé» إلى «rapport» في عملية واحدة — ولأن جميع الكلمات تحسب نظرتها في آن واحد، يمكن تنفيذ كل شيء على التوازي على وحدة GPU.