Redes recurrentes y datos secuenciales

«La película no era mala» y «la película era mala, no buena» contienen casi las mismas palabras y dicen lo contrario. Un modelo que cuenta las palabras sin tener en cuenta su orden no puede distinguir estas dos frases: la información no está en el vocabulario, está en la secuencia. El mismo problema se plantea con un electrocardiograma, una cotización bursátil, una trayectoria GPS o una orden de voz.

Aparecen entonces dos dificultades, y ninguna arquitectura vista hasta ahora las resuelve. La primera es la longitud variable: las frases no tienen todas el mismo número de palabras, mientras que un nn.Linear exige un tamaño de entrada fijo. La segunda es la dependencia a larga distancia: en «la llave que había dejado sobre la mesa de la cocina anoche está desaparecida», la concordancia del verbo depende de una palabra situada once posiciones antes.

Las redes recurrentes responden a ambas con un mismo gesto: una única celda, aplicada en cada paso de tiempo, que transporta un estado interno de un paso al siguiente. La longitud deja de importar, puesto que la celda se aplica tantas veces como haga falta con los mismos pesos. Y el estado constituye una memoria de todo lo anterior.