Embeddings y similitud: qué mide realmente un vector

Un usuario busca el procedimiento de parada de emergencia. Su sistema devuelve en primer lugar un pasaje titulado procedimiento de arranque de emergencia, con una puntuación de similitud de 0,94. El pasaje sobre la parada existe, pero está en quinta posición con 0,88. El modelo recibe primero el procedimiento equivocado y responde fuera de lugar. Es tentador culpar a la base de datos vectorial: ha hecho su trabajo a la perfección. Los dos textos comparten vocabulario, sintaxis y dominio, y se diferencian por una sola palabra cuya inversión semántica es total.

Es el comportamiento normal de un embedding, no un defecto. Un embedding codifica una proximidad temática, no una identidad de significado. Los antónimos, las negaciones y las referencias numéricas exactas son sus puntos ciegos estructurales. Entender con precisión qué captura un vector le evitará pasar tres semanas cambiando de modelo para resolver un problema que solo la búsqueda híbrida puede solucionar.

Qué codifica un vector

Un modelo de embeddings proyecta un texto en un espacio de varios cientos de dimensiones, entrenado para que los textos que las personas consideran relacionados queden geométricamente cerca. Ninguna dimensión tiene un significado interpretable por sí sola: solo cuentan las distancias relativas.