Del perceptrón a la red multicapa
El perceptrón, su límite con XOR y por qué apilar capas lo supera: cálculo a mano, formas matriciales e implementación en PyTorch.
Del perceptrón a la red multicapa
En 1969, Marvin Minsky y Seymour Papert publican un libro que congela la investigación sobre redes neuronales durante quince años. Su argumento cabe en una página: el perceptrón, el único modelo neuronal conocido entonces, es incapaz de aprender la función O exclusivo. Cuatro puntos, dos clases y un modelo que fracasa. La financiación se desploma y los laboratorios cierran.
Lo interesante de este episodio no es el fracaso, sino que la solución ya era conocida. Apilar dos perceptrones resuelve XOR sin dificultad; incluso se sabía escribir los pesos a mano. Lo que faltaba era una forma de entrenar ese apilamiento, y habrá que esperar a la popularización de la retropropagación a mediados de los años 1980 para conseguirla.
Entender con precisión por qué un perceptrón fracasa y por qué basta una capa oculta no es arqueología. Es el único camino que quita el misterio a la pregunta «cuántas capas, cuántas unidades». Una capa oculta no añade potencia de cálculo: cambia la forma geométrica de las fronteras que el modelo puede trazar. Cuando se sabe cuál, se deja de elegir las arquitecturas al azar.