Sobreajuste y regularización

Una red que alcanza una pérdida de $0{,}0001$ en sus datos de entrenamiento puede ser totalmente inútil. No es una paradoja: es el caso más frecuente cuando faltan datos. El modelo ha memorizado. Conoce de memoria las 500 imágenes que se le han mostrado, asocia cada una con su etiqueta y no ha aprendido nada transferible. Preséntele una imagen 501 y responderá al azar.

La palabra «sobreajuste» es, de hecho, engañosa, porque sugiere un exceso de celo. Lo que ocurre es más preciso: el modelo explota regularidades que existen en la muestra, pero no en la población. Un grano de ruido en una imagen, una correlación fortuita entre dos píxeles, un artefacto del sensor que fotografió una sola de las clases. Estos patrones son reales en los datos de entrenamiento. El modelo hace bien en utilizarlos para minimizar su pérdida; lo que estaba mal planteado era nuestro objetivo.

La consecuencia metodológica es la que estructura todo el oficio: la pérdida de entrenamiento no informa sobre la calidad de un modelo. Mide tanto la memorización como el aprendizaje, y mirándola sola no hay forma de separar ambas cosas. Hace falta un segundo conjunto de datos, nunca utilizado para actualizar los pesos, y es sobre ese —y solo sobre ese— sobre el que se juzga.