التضمينات المعجمية: word2vec وما بعده
من word2vec إلى fastText ثم إلى المتجهات السياقية في CamemBERT: كيف نمثّل معنى الكلمات، وما حققته هذه التقنيات من نجاحات، وما تنطوي عليه من تحيّزات وحدود حقيقية.
بالنسبة إلى نموذج TF-IDF، تمثّل «voiture» و«automobile» عمودين مستقلين تمامًا. وتساوي درجة التشابه بينهما صفرًا، تمامًا كما بين «voiture» و«betterave». ولن يعرف مصنِّف دُرّب على نصوص تقول «automobile» كيف يتعامل مع نص يقول «voiture». فكيس الكلمات لا يمثّل المعنى، بل يمثّل الإملاء.
الفكرة التي تحلّ هذه المشكلة قديمة، وتُصاغ في جملة واحدة تُنسب إلى اللغوي جون روبرت فيرث عام 1957: نعرف الكلمة من الصحبة التي تلازمها. فإذا ظهرت كلمتان بانتظام في السياقات نفسها، مثل «je conduis ma ___» و«le garage répare ma ___»، فمن المرجّح أن معناهما متقارب. ولهذه الفرضية، المسمّاة التوزيعية، نتيجة عملية حاسمة: يمكن تعلّم معنى الكلمة من نص خام، دون أي توسيم بشري، اعتمادًا على التواقعات (cooccurrences) وحدها.
التضمين المعجمي (plongement lexical، أو word embedding) هو ناتج هذا التعلّم: متجه من بضع مئات من الأعداد الحقيقية لكل كلمة، يُوضع بحيث تتقارب الكلمات المستخدمة في سياقات متشابهة. وهكذا ننتقل من فضاء مفرغ ذي خمسين ألف بُعد إلى فضاء كثيف ذي ثلاثمئة بُعد، تكون للمسافة فيه دلالة.
يتتبع هذا الدرس تاريخ هذه التمثيلات، لأن كل مرحلة فيها تصحّح عيبًا محددًا في سابقتها: يضع word2vec المبدأ، ويعالج fastText مشكلة الكلمات غير المعروفة والصرف الفرنسي، وتحل النماذج السياقية مشكلة الكلمات متعددة المعاني. كما يتوقف الدرس عند ما تحمله هذه المتجهات رغمًا عنا، أي تحيّزات المدوّنة، لأن المسألة تقنية قبل أن تكون أخلاقية.