Plongements lexicaux : word2vec et after
De word2vec à fastText puis aux vecteurs contextuels de CamemBERT : représenter le sens des mots, ses réussites, ses biais et ses limites réelles.
Pour un modèle TF-IDF, « voiture » et « automobile » sont deux colonnes indépendantes. Leur similarité vaut zéro, exactement comme celle de « voiture » et « betterave ». Un classifieur entraîné sur des textes qui disent « automobile » ne saura rien faire d'un texte qui dit « voiture ». Le sac de mots ne représente pas le sens, il représente l'orthographe.
L'idée qui débloque le problème est ancienne et se formule en une phrase, attribuée au linguiste John Rupert Firth en 1957 : on connaît un mot par la compagnie qu'il tient. Si deux mots apparaissent régulièrement dans les mêmes contextes — « je conduis ma ___ », « le garage répare ma ___ » — c'est qu'ils ont probablement un sens proche. Cette hypothèse dite distributionnelle a une conséquence pratique décisive : le sens d'un mot est apprenable à partir de texte brut, sans annotation humaine, à partir des seules cooccurrences.
Un plongement lexical est le résultat de cet apprentissage : un vecteur de quelques centaines de nombres réels par mot, positionné de telle sorte que les mots employés dans des contextes similaires soient proches. On passe d'un espace creux de cinquante mille dimensions à un espace dense de trois cents, où la distance a un sens.