Aprendizaje por transferencia

Tiene ochocientas fotos etiquetadas y un problema de clasificación que resolver. El capítulo 2 estableció lo que ocurrirá si entrena una red profunda desde cero: memorizará sus ochocientas imágenes y no generalizará. El capítulo 3 mostró que las arquitecturas de visión serias cuentan con decenas de millones de parámetros. Ochocientos ejemplos para diez millones de parámetros es una batalla perdida de antemano, y ninguna regularización invertirá esa proporción.

Sin embargo, existe una salida, y es la práctica habitual del campo, no un atajo de aficionado. Alguien ya ha entrenado una red con un millón de imágenes, ha pagado los miles de horas de cómputo y ha publicado los pesos. Esa red ha aprendido a detectar contornos, texturas, patrones repetidos, formas compuestas. Nada de eso es específico de las clases que debía reconocer: son los ladrillos elementales de cualquier imagen natural. Sus ochocientas fotos también están hechas de ellos.

El aprendizaje por transferencia consiste en recuperar esos ladrillos y aprender solo la última etapa: la combinación que responde a su pregunta. El número de parámetros que hay que estimar pasa de diez millones a unos pocos miles, y de pronto ochocientos ejemplos bastan. La ganancia es del mismo orden que la de la convolución frente a la capa densa: no se ha encontrado un algoritmo mejor, se ha evitado reaprender lo que ya se sabía.