الضبط الدقيق لنموذج مُدرَّب مسبقًا

احتاج التدريب المسبق لـ CamemBERT إلى مدوّنة نصية فرنسية تتجاوز مئة غيغابايت وإلى آلاف الساعات من وقت وحدة معالجة الرسوميات (GPU). أما ضبطه على مهمتك فيحتاج إلى بضعة آلاف من الأمثلة الموسومة وإلى نحو عشرين دقيقة على GPU للاستخدام العام. هذا الفارق، الذي يبلغ عدة مراتب من الحجم، هو ما جعل معالجة اللغة الطبيعية الحديثة في متناول من هم خارج المختبرات الكبرى.

ما ينتقل من النموذج المُدرَّب مسبقًا يستحق أن نسمّيه بدقة، لأنه يفسّر متى تنجح الطريقة ومتى تفشل. لقد تعلّم النموذج المُدرَّب مسبقًا بنية اللغة الفرنسية: الصرف، والمطابقة، وترتيب المكوّنات، ونطاق النفي، إضافةً إلى كمّ كبير من المعارف المعجمية حول التلازم اللفظي. لكنه لم يتعلّم شيئًا عن مهمتك. والضبط الدقيق يعني تركيب طبقة قرار صغيرة فوق هذه الكفاءة اللغوية، ثم إعادة ضبط المجموعة برمّتها قليلًا لتخدم تلك الطبقة.

والنتيجة العملية أن الضبط الدقيق شديد الفعالية حين تعتمد مهمتك على فهم اللغة الفرنسية (المشاعر، أو النيّة، أو الموضوع)، وأقل فعالية بكثير حين تعتمد على معارف غائبة عن التدريب المسبق، كمصطلحات داخلية خاصة بالشركة أو تسميات مهنية حديثة.

يعرض هذا الدرس الطرق الثلاث بترتيب الممارسة: الطريقة القياسية باستخدام Trainer من Hugging Face، ثم حلقة PyTorch اليدوية لفهم ما يفعله Trainer، ثم الضبط الدقيق منخفض الرتبة الذي يقلّص كلفة الذاكرة. ويختم بالإعدادات التي تهم فعلًا، وبما يجعل النتيجة غير قابلة لإعادة الإنتاج.