Construire l'invite et citer les sources

Votre récupération est bonne : sur 30 questions de référence, le bon passage figure 28 fois dans les cinq premiers résultats. Pourtant les utilisateurs signalent des réponses inexactes. Vous inspectez un cas : le passage correct était en quatrième position, un passage voisin traitant d'un site différent était en première, et le modèle a répondu à partir du premier en citant le quatrième. La citation était fausse, donc invérifiable, donc pire qu'absente : elle donne à une réponse erronée l'apparence d'une réponse sourcée.

Le montage de l'invite n'est pas de la cosmétique. Il détermine ce que le modèle voit en premier, ce qu'il est autorisé à faire quand l'information manque, et si sa citation est vérifiable par un programme ou seulement plausible pour un humain. Trois décisions structurent tout le reste : l'ordre des passages, le format de citation, et la conduite à tenir en cas d'absence d'information.

L'ordre des passages n'est pas neutre

Les modèles de langage exploitent mieux l'information située au début et à la fin de leur contexte que celle du milieu. L'effet est mesurable et se creuse quand le contexte s'allonge. Si vous placez dix passages par ordre de pertinence décroissante, les passages 5 à 8 sont ceux que le modèle est le plus susceptible d'ignorer.