Dividir los documentos sin destruir el sentido

Un manual técnico de 80 páginas, dividido mecánicamente cada 1 000 caracteres. El fragmento 47 termina así: la presión máxima admisible es de. El fragmento 48 empieza así: 12 bares, salvo para los modelos anteriores a 2018. Un usuario pregunta por la presión máxima admisible. La búsqueda vectorial devuelve el fragmento 47, porque es el que contiene las palabras de la pregunta. El modelo recibe una frase truncada, no encuentra ningún valor y responde que la información no está disponible. Ha indexado la página correcta y ha perdido la respuesta correcta.

Este escenario no es un caso límite, sino el modo de fallo más frecuente de los primeros prototipos. La división determina lo que un fragmento puede significar por sí solo, fuera de su documento, una vez sacado de su contexto. Un fragmento es una unidad de sentido autónoma o no es nada: se recuperará solo, se leerá solo y se citará solo. Dividir por número de caracteres es decidir que el sentido se interrumpe cada 1 000 signos, algo que no es cierto en ningún documento escrito por un humano.