Embeddings de palavras: word2vec e o que veio depois

Para um modelo TF-IDF, “carro” e “automóvel” são duas colunas independentes. A similaridade entre elas é zero, exatamente como a de “carro” e “beterraba”. Um classificador treinado com textos que dizem “automóvel” não saberá o que fazer com um texto que diz “carro”. O saco de palavras não representa o sentido, representa a ortografia.

A ideia que destrava o problema é antiga e cabe em uma frase, atribuída ao linguista John Rupert Firth em 1957: conhece-se uma palavra pela companhia que ela mantém. Se duas palavras aparecem regularmente nos mesmos contextos (“eu dirijo meu ___”, “a oficina conserta meu ___”), é provável que tenham um sentido próximo. Essa chamada hipótese distribucional tem uma consequência prática decisiva: o sentido de uma palavra pode ser aprendido a partir de texto bruto, sem anotação humana, apenas com base nas coocorrências.

Um embedding de palavras é o resultado desse aprendizado: um vetor de algumas centenas de números reais por palavra, posicionado de modo que as palavras usadas em contextos semelhantes fiquem próximas. Passa-se de um espaço esparso de cinquenta mil dimensões para um espaço denso de trezentas, no qual a distância tem significado.