Construir o prompt e citar as fontes

Sua recuperação é boa: em 30 perguntas de referência, o trecho correto aparece 28 vezes entre os cinco primeiros resultados. Mesmo assim, os usuários relatam respostas imprecisas. Você inspeciona um caso: o trecho correto estava na quarta posição, um trecho vizinho, que tratava de outro site, estava na primeira, e o modelo respondeu a partir do primeiro citando o quarto. A citação era falsa, portanto inverificável, portanto pior do que ausente: ela dá a uma resposta errada a aparência de uma resposta com fonte.

A montagem do prompt não é cosmética. Ela determina o que o modelo vê primeiro, o que ele está autorizado a fazer quando falta informação, e se a citação dele é verificável por um programa ou apenas plausível para um humano. Três decisões estruturam todo o resto: a ordem dos trechos, o formato de citação e a conduta a adotar quando não há informação.

A ordem dos trechos não é neutra

Os modelos de linguagem aproveitam melhor a informação situada no início e no fim do contexto do que a do meio. O efeito é mensurável e se acentua quando o contexto fica mais longo. Se você colocar dez trechos em ordem decrescente de relevância, os trechos 5 a 8 são os que o modelo tem mais chance de ignorar.