Du perceptron au réseau multicouche

En 1969, Marvin Minsky et Seymour Papert publient un livre qui gèle la recherche sur les réseaux de neurones pendant quinze ans. Leur argument tient en une page : le perceptron, l'unique modèle neuronal alors connu, est incapable d'apprendre la fonction OU exclusif. Quatre points, deux classes, et un modèle qui échoue. Le financement s'effondre, les laboratoires ferment.

Ce qui rend cet épisode intéressant, ce n'est pas l'échec — c'est que la solution était déjà connue. Empiler deux perceptrons résout XOR sans difficulté ; on savait même écrire les poids à la main. Ce qui manquait, c'était un moyen d'entraîner cet empilement, et il faudra attendre la popularisation de la rétropropagation au milieu des années 1980 pour l'obtenir.

Comprendre précisément pourquoi un perceptron échoue et pourquoi une couche cachée suffit, ce n'est pas de l'archéologie. C'est le seul chemin qui rende non mystérieuse la question « combien de couches, combien d'unités ». Une couche cachée n'ajoute pas de la puissance de calcul : elle change la forme géométrique des frontières que le modèle peut tracer. Quand on sait laquelle, on cesse de choisir les architectures au hasard.