التطبيع: حالة الأحرف، والتشكيلات، والتجذيع اللغوي (Lemmatisation)

التطبيع (Normalisation) يعني أن تقرّر عن قصد التخلّي عن جزء من المعلومات. نحوّل كل شيء إلى أحرف صغيرة، فنتخلّى عن التمييز بين « État » و« état ». نحذف علامات التشكيل، فتصبح « tache » و« tâche » كلمة واحدة. نحذف الكلمات الشائعة (mots vides)، فتنتهي جملتا « je n'aime pas ce film » و« j'aime ce film » إلى النتيجة نفسها.

هذه النتيجة الأخيرة ليست مثالًا نظريًا. إنها الخطأ الأكثر شيوعًا والأعلى كلفة في مشاريع تحليل المشاعر باللغة الفرنسية: فقوائم الكلمات الشائعة الجاهزة تحتوي على ne وpas وplus وsans وaucun، وهي بالضبط الكلمات التي تحمل النفي. والنموذج الذي يُدرَّب بعد هذه التصفية عاجز بنيويًا عن التمييز بين نقد وإشادة، ومقاييسه لا تكشف ذلك بوضوح.

لذلك فالسؤال الصحيح ليس «كيف نُطبِّع» بل «ما الذي يحق لمهمتي أن تنساه». ففي البحث الوثائقي، يُعدّ محو التشكيلات خدمة للمستخدم الذي يكتب دون تشكيلات. أما في استخراج الكيانات فهو كارثة، لأن الأسماء العلم تتميّز بالتحديد بطريقة كتابتها.

يستعرض هذا الدرس عمليات التطبيع الخمس الكلاسيكية، ويبيّن لكل منها ما تُتلفه في اللغة الفرنسية، ثم يُختتم بدالة قابلة لإعادة الاستخدام تكون كل خطوة فيها معاملًا (paramètre)، لأنه لا يوجد إعداد واحد يناسب جميع المهام.