الإفراط في التعلّم والتنظيم

قد تكون الشبكة التي تبلغ خسارةً قدرها $0{,}0001$ على بيانات التدريب عديمة الفائدة تمامًا. وهذا ليس تناقضًا، بل هو الحالة الأكثر شيوعًا حين تقلّ البيانات. فقد حفظ النموذج ما رآه: يعرف عن ظهر قلب الصور الـ 500 التي عُرضت عليه، ويربط كل صورة بتسميتها، ولم يتعلّم شيئًا قابلًا للانتقال. اعرض عليه الصورة رقم 501 فيجيب عشوائيًا.

إن مصطلح «الإفراط في التعلّم» مضلِّل في الواقع، لأنه يوحي بفرط الحماسة. والذي يحدث أدق من ذلك: يستغلّ النموذج انتظامات موجودة في العيّنة وليست موجودة في المجتمع الإحصائي. حبّة ضجيج على صورة، أو ارتباط عرضي بين بكسلين، أو عيب في المستشعر التقط صور فئة واحدة فقط. هذه الأنماط حقيقية في بيانات التدريب. والنموذج محقّ في استخدامها لتقليل خسارته؛ أما هدفنا نحن فكان مصاغًا بشكل سيئ.

والنتيجة المنهجية هي التي تبني المهنة كلها: خسارة التدريب لا تخبرنا بجودة النموذج. فهي تقيس الحفظ بقدر ما تقيس التعلّم، ولا سبيل إلى الفصل بينهما بالنظر إليها وحدها. نحتاج إلى مجموعة بيانات ثانية لا تُستخدم أبدًا في تحديث الأوزان، وعلى هذه المجموعة — وعليها وحدها — يقوم الحكم.

يعلّمك هذا الدرس أولًا قراءة منحنيين معًا، وهذا تشخيص وليس تقنية. ثم يستعرض العلاجات، مبيّنًا لكل علاج ما يفعله حقًا والخطأ البرمجي الكلاسيكي المصاحب له. والعلاج الأخير هو الأكثر صدقًا: أحيانًا يلزم مزيد من البيانات أو نموذج أصغر، ولا حيلة تغني عن ذلك.