Tokenisation: تقسيم النص إلى وحدات

التجزئة (tokenisation) هي أول عملية في أي سلسلة لمعالجة اللغة، وهي الوحيدة التي تنتشر أخطاؤها حتى النهاية دون أن تعلن عن نفسها. النموذج الذي جُزِّئ نصه بشكل سيئ لا يتعطل: إنه يتعلم مفردات خاطئة قليلًا، ويخسر بعض نقاط الأداء دون أن يستطيع أحد تفسير السبب.

لا يوجد لكلمة «token» مقابل عربي مستقر تمامًا. إنها ليست كلمة: إنها الوحدة التي يقرر نظامك معاملتها على أنها غير قابلة للتجزئة. وبحسب المهمة، قد تكون كلمة، أو علامة ترقيم، أو جزءًا من كلمة، أو حتى حرفًا. السؤال الذي ينبغي طرحه إذن ليس أبدًا «كيف أقسّم النص»، بل «ما الوحدة المناسبة لما أريد إنجازه».

تجعل اللغة الفرنسية هذا السؤال شائكًا بوجه خاص. فالفاصلة العليا (apostrophe) فيها حرف نحوي لا علامة اقتباس: في «l'État» تدل الفاصلة العليا على إضمار وتفصل بين كلمتين، بينما في «aujourd'hui» هي جزء داخلي من كلمة واحدة متحجّرة. ولا توجد قاعدة طباعية تميّز بين الحالتين. أما الواصلة فأسوأ: فهي تصل الكلمات المركبة («porte-monnaie»)، والضمائر المتأخرة («donne-le-moi»)، وصيغ الاستفهام بالتقديم والتأخير («viens-tu»)، ولا ينبغي معاملتها جميعًا بالطريقة نفسها.

يعرض هذا الدرس أولًا كيف يفسد المُجزِّئ الساذج النص الفرنسي، ثم كيف تعمل المُجزِّئات الحقيقية: مُجزِّئ spaCy القائم على القواعد، ومُجزِّئ CamemBERT المُتعلَّم من مدوّنة نصية.