Réseaux récurrents et données séquentielles

« Le film n'était pas mauvais » et « le film était mauvais, pas bon » contiennent presque les mêmes mots et disent l'inverse. Un modèle qui compte les mots sans considérer leur ordre ne peut pas distinguer ces deux phrases : l'information n'est pas dans le vocabulaire, elle est dans la séquence. Le même problème se pose pour un électrocardiogramme, un cours de bourse, une trajectoire GPS, une commande vocale.

Deux difficultés apparaissent alors, et aucune architecture vue jusqu'ici ne les traite. La première est la longueur variable : les phrases n'ont pas toutes le même nombre de mots, alors qu'un nn.Linear exige une taille d'entrée fixe. La seconde est la dépendance à distance : dans « la clé que j'avais posée sur la table de la cuisine hier soir est introuvable », l'accord du verbe dépend d'un mot situé onze positions plus tôt.

Les réseaux récurrents répondent aux deux d'un même geste : une seule cellule, appliquée à chaque pas de temps, qui transporte un état interne d'un pas au suivant. La longueur n'importe plus, puisque la cellule s'applique autant de fois que nécessaire avec les mêmes poids. Et l'état constitue une mémoire de tout ce qui précède.