Surapprentissage et régularisation

Un réseau qui atteint une perte de $0{,}0001$ sur ses données d'entraînement peut être totalement inutile. Ce n'est pas un paradoxe : c'est le cas le plus fréquent quand on manque de données. Le modèle a mémorisé. Il connaît par cœur les 500 images qu'on lui a montrées, associe chacune à son étiquette, et n'a rien appris de transférable. Présentez-lui une 501ᵉ image et il répond au hasard.

Le mot « surapprentissage » est en fait trompeur, car il suggère un excès de zèle. Ce qui se passe est plus précis : le modèle exploite des régularités qui existent dans l'échantillon mais pas dans la population. Un grain de bruit sur une image, une corrélation fortuite entre deux pixels, un artefact du capteur qui a photographié une seule des classes. Ces motifs sont réels dans les données d'entraînement. Le modèle a raison de les utiliser pour minimiser sa perte ; c'est notre objectif qui était mal posé.

La conséquence méthodologique est celle qui structure tout le métier : la perte d'entraînement ne renseigne pas sur la qualité d'un modèle. Elle mesure la mémorisation autant que l'apprentissage, et rien ne permet de séparer les deux en la regardant seule. Il faut un second jeu de données, jamais utilisé pour la mise à jour des poids, et c'est sur celui-là — et seulement celui-là — qu'on juge.