حقيبة الكلمات وTF-IDF
تحويل النص إلى مصفوفة رقمية باستخدام scikit-learn: العدّ، وتوزين TF-IDF، وn-grams الحروف، وانفجار الأبعاد.
لا تتعامل خوارزمية التعلّم مع النص، بل مع الأرقام. وبين الاثنين لا بدّ من دالة تحوّل المستند إلى متجه، وهذه الدالة تحدّد جودة النتيجة النهائية بصورة أوثق من اختيار الخوارزمية نفسها.
أقدم الحلول هو أيضًا الأكثر استخدامًا في بيئات الإنتاج: حقيبة الكلمات (sac de mots). نتجاهل الترتيب ولا نحتفظ إلا بالحضور والتكرار. فعبارتا «Le chat mange la souris» و«La souris mange le chat» تصبحان المتجه نفسه. إنها خسارة واضحة للمعلومات، ومع ذلك يكفي هذا التمثيل لتصفية البريد المزعج، وتوجيه تذاكر الدعم، وتصنيف الأخبار العاجلة حسب الأبواب بدقة تُحرج المقاربات الأكثر تطورًا.
هناك ثلاثة أسباب للبدء من هنا، حتى لو كان هدفك النهائي هو المحوّل (transformer). السبب الأول أنها مرجع نزيه للمقارنة: إذا كان نموذجك ذو 110 ملايين معامل لا يتفوّق على TF-IDF يُدرَّب في ثانيتين، فالمشكلة ليست في المعمارية. والثاني قابلية التفسير: يمكننا قراءة المعاملات ومعرفة الكلمات التي تحمل القرار، وهو ما لا يتيحه أي محوّل بهذه المباشرة. والثالث التكلفة: انحدار لوجستي (régression logistique) على TF-IDF يُدرَّب على حاسوب محمول ويستجيب في جزء من الميلي ثانية، دون GPU ودون خادم استدلال.
يبني هذا الدرس التمثيل خطوة بخطوة، ويُظهر أين ينفجر من حيث الأبعاد، ويقدّم الإعدادات التي تجعله فعّالًا حقًا مع اللغة الفرنسية.