نزول التدرّج والمُحسِّنات

تدريب الشبكة العصبية يعني البحث عن الحدّ الأدنى لدالة لن نرى شكلها أبدًا. فهي توجد في فضاء ذي ملايين الأبعاد، ولا يمكن رسمها، ولا يمكن استكشافها استكشافًا شاملًا، ولا يوجد أي ضمان بأن لها حدًّا أدنى وحيدًا. كل ما نملكه عند نقطة معيّنة هو اتجاه أشدّ انحدار. نتقدّم في الاتجاه المعاكس، ثم نكرّر. هذه هي الخوارزمية بكاملها.

هذه البساطة الظاهرية مضلِّلة. فسلوك هذا النزول يتوقف على إعداد واحد — طول الخطوة — وتؤدي قيمته الخاطئة إلى إخفاقين مختلفين جذريًا يُخلط بينهما كثيرًا: إذا كانت الخطوة صغيرة جدًا يراوح النموذج مكانه فنظن أن المشكلة في المعمارية؛ وإذا كانت كبيرة جدًا تنطلق الخسارة نحو اللانهاية أو تعلق في هضبة فنظن أن هناك خطأً برمجيًا. والممارس المتمرّس يميّز أيّ الحالتين تحدث بمجرد النظر إلى ثلاث قيم للخسارة.

وهناك مصدر ثانٍ للالتباس، أكثر خفاءً. فـ Adam، المُحسِّن الافتراضي بحكم الواقع، يعمل جيدًا على مسائل كثيرة إلى حدّ أننا ننتهي إلى عدم معرفة ما يفعله بالضبط. غير أن إعداداته الضمنية — المتوسط المتحرك، والتطبيع بالجذر التربيعي للعزم الثاني، وتصحيح الانحياز — لها عواقب محددة، وثمة حالات تضرّ فيها.

ينطلق هذا الدرس من مسألة ذات متغيّر واحد يُحسب فيها كل شيء يدويًا، بما في ذلك الشرط الدقيق للتباعد. ثم ينتقل إلى الزخم (momentum) وAdam مع الصيغ، ويُختتم بقائمة تشخيصات: لعبارة «شبكتي لا تتعلّم» عدد محدود من الأسباب.