Introdução ao processamento de linguagem natural

Um banco de dados sabe comparar dois números. Ele não sabe decidir se « le film n'était pas mauvais » (“o filme não era ruim”) é um elogio. Todo o processamento de linguagem natural cabe nessa lacuna: o texto é a forma de dado mais abundante que a humanidade produz, e é a única que a computação clássica não sabe manipular senão como uma sequência de bytes.

A dificuldade não é a quantidade, é a ambiguidade. Pegue a frase « Les avions volent bas ». Um leitor francês entende imediatamente aeronaves passando perto do chão. Mas avions também é o imperfeito do verbo avoir (ter), e volent pode significar dérober (roubar). Do ponto de vista estritamente formal, a frase é ambígua; é o seu conhecimento de mundo que decide, não a gramática. Multiplique esse tipo de escolha pelo tamanho de um documento e você dimensiona o problema: não existe nenhuma regra exaustiva, apenas indícios estatísticos a acumular.

Além disso, o francês não é o inglês. A maioria das ferramentas de NLP foi concebida, treinada e avaliada em inglês, uma língua pouco flexionada, sem acentos, em que o apóstrofo é raro. O francês faz elisão (« l'État »), faz concordância (« sont allées »), acentua (« tache » não é « tâche ») e cola seus pronomes (« donne-le-moi »). Um pipeline copiado de um tutorial em inglês produz texto francês deteriorado sem nunca levantar um erro — é o pior cenário, porque nada avisa.