Redes recorrentes e dados sequenciais

“O filme não era ruim” e “o filme era ruim, não bom” contêm quase as mesmas palavras e dizem o oposto. Um modelo que conta as palavras sem considerar sua ordem não consegue distinguir essas duas frases: a informação não está no vocabulário, está na sequência. O mesmo problema aparece em um eletrocardiograma, na cotação de uma ação, em uma trajetória GPS, em um comando de voz.

Surgem então duas dificuldades, e nenhuma arquitetura vista até aqui as resolve. A primeira é o comprimento variável: as frases não têm todas o mesmo número de palavras, enquanto um nn.Linear exige um tamanho de entrada fixo. A segunda é a dependência de longa distância: em “a chave que deixei sobre a mesa da cozinha ontem à noite está sumida”, a concordância do verbo depende de uma palavra situada onze posições antes.

As redes recorrentes respondem às duas de uma só vez: uma única célula, aplicada a cada passo de tempo, que carrega um estado interno de um passo ao seguinte. O comprimento deixa de importar, já que a célula é aplicada quantas vezes forem necessárias com os mesmos pesos. E o estado constitui uma memória de tudo o que veio antes.