Introduction à l'apprentissage profond

Pendant quarante ans, faire reconnaître un chiffre manuscrit à une machine consistait à décrire le chiffre à la main. On écrivait du code pour compter les boucles fermées, mesurer le rapport hauteur/largeur, détecter les intersections de traits. Ces mesures s'appelaient des caractéristiques (features), et elles étaient le vrai travail : le classifieur placé derrière — une régression logistique, un SVM — n'était qu'une formalité. Changer de problème, c'était tout recommencer. Un ingénieur qui savait décrire les chiffres ne savait rien décrire des visages.

L'apprentissage profond renverse ce rapport. On ne décrit plus les caractéristiques : on décrit une architecture capable de les inventer, et on la laisse les découvrir à partir des exemples. Les premières couches d'un réseau entraîné sur des images finissent par détecter des contours et des taches de couleur ; les suivantes, des textures ; les dernières, des parties d'objets. Personne n'a écrit « détecte un contour ». C'est tombé de l'optimisation.

Ce déplacement a un prix, et ce cours ne le cachera pas. Un réseau profond a besoin de beaucoup d'exemples, de beaucoup de calcul, et il échoue de façons déroutantes : il n'apprend rien alors que le code est correct, il apprend par cœur au lieu de généraliser, ou il descend dans une région où les gradients s'annulent et se figent. La différence entre quelqu'un qui empile des couches et quelqu'un qui sait construire un modèle tient entièrement à sa capacité à diagnostiquer ces échecs.