Dividir os documentos sem destruir o sentido

Um manual técnico de 80 páginas, dividido mecanicamente a cada 1.000 caracteres. O fragmento 47 termina com: a pressão máxima admissível é de. O fragmento 48 começa com: 12 bar, exceto para os modelos anteriores a 2018. Um usuário pergunta qual é a pressão máxima admissível. A busca vetorial retorna o fragmento 47, porque é ele que contém as palavras da pergunta. O modelo recebe uma frase truncada, não encontra nenhum valor e responde que a informação não está disponível. Você indexou a página certa e perdeu a resposta certa.

Esse cenário não é um caso extremo, é o modo de falha mais frequente dos primeiros protótipos. A divisão determina o que um fragmento pode significar sozinho, fora do seu documento, depois de retirado do seu contexto. Um fragmento é uma unidade de sentido autônoma ou não é nada: ele será recuperado sozinho, lido sozinho e citado sozinho. Dividir por número de caracteres é decidir que o sentido termina a cada 1.000 caracteres, o que não é verdade para nenhum documento escrito por um humano.