تصنيف النصوص

يُعدّ تصنيف النصوص المهمة الأكثر مردودًا في معالجة اللغات الطبيعية التطبيقية. فرز الرسائل الإلكترونية غير المرغوبة، وتوجيه تذاكر الدعم إلى الفريق المناسب، واكتشاف رأي عميل غير راضٍ، ورصد وثيقة سرّية: في كل هذه الحالات يجب أن يُنتج مُدخل نصي تسمية واحدة من مجموعة محدودة.

وهي أيضًا المهمة التي يسهل فيها الخطأ في تقدير أداء النموذج. فمصنِّف يعلن دقة بنسبة 97 % في مسألة تنتمي فيها 97 % من الأمثلة إلى فئة واحدة لم يتعلّم شيئًا: إنه يعطي الجواب نفسه دائمًا. ومصنِّف دُرِّب على بيانات سيئة التقسيم يتعلّم هوية أمثلته بدل مضمونها، ويعرض درجة سيكذّبها الإنتاج بقسوة.

لهذا تخصص هذه الدرس للتقييم مساحة تعادل مساحة التدريب. فتدريب نموذج نصي لا يتطلب سوى خمسة أسطر من scikit-learn، أما معرفة ما إذا كان بالإمكان الوثوق به فتتطلب أكثر من ذلك بكثير. والترتيب المعتمد هنا هو ترتيب مشروع حقيقي: تحديد التسميات، ثم تكوين البيانات، ثم وضع خط أساس ساذج، ثم التدريب، ثم القياس الصحيح، وأخيرًا النظر في الأخطاء واحدًا واحدًا.

والخطوة الأخيرة هي التي يتجاهلها الجميع، وهي التي تحقق التقدم فعلًا. فالنموذج نادرًا ما يتحسن بتغيير الخوارزمية؛ إنه يتحسن عندما نفهم لماذا يخفق في خمسين مثالًا بعينها.