Construir el prompt y citar las fuentes

Su recuperación funciona bien: sobre 30 preguntas de referencia, el pasaje correcto aparece 28 veces entre los cinco primeros resultados. Aun así, los usuarios señalan respuestas inexactas. Inspecciona un caso: el pasaje correcto estaba en cuarta posición, un pasaje vecino que trataba de otra sede estaba en primera, y el modelo respondió a partir del primero citando el cuarto. La cita era falsa, por tanto inverificable, y por tanto peor que ninguna: da a una respuesta errónea la apariencia de una respuesta con fuentes.

El montaje del prompt no es cosmética. Determina qué ve el modelo en primer lugar, qué se le permite hacer cuando falta información y si su cita puede verificarla un programa o solo resulta plausible para un humano. Tres decisiones estructuran todo lo demás: el orden de los pasajes, el formato de cita y la conducta que debe seguirse cuando no hay información.

El orden de los pasajes no es neutro

Los modelos de lenguaje aprovechan mejor la información situada al principio y al final de su contexto que la del medio. El efecto es medible y se acentúa a medida que el contexto crece. Si coloca diez pasajes por orden de relevancia decreciente, los pasajes 5 a 8 son los que el modelo tiene más probabilidades de ignorar.