بناء الـ prompt والاستشهاد بالمصادر

الاسترجاع عندك جيد: في 30 سؤالًا مرجعيًا، يظهر المقطع الصحيح 28 مرة ضمن النتائج الخمس الأولى. ومع ذلك يبلّغ المستخدمون عن إجابات غير دقيقة. تفحص إحدى الحالات: كان المقطع الصحيح في المرتبة الرابعة، وكان مقطع مجاور يتناول موقعًا مختلفًا في المرتبة الأولى، فأجاب النموذج اعتمادًا على الأول مستشهدًا بالرابع. كان الاستشهاد خاطئًا، وبالتالي لا يمكن التحقق منه، وهو أسوأ من غيابه: فهو يمنح إجابة خاطئة مظهر إجابة موثّقة بمصدر.

بناء الـ prompt ليس أمرًا شكليًا. فهو يحدد ما يراه النموذج أولًا، وما يُسمح له بفعله عند نقص المعلومات، وهل يمكن لبرنامج التحقق من استشهاده أم أنه مقنع لقارئ بشري فحسب. ثلاثة قرارات تحكم كل ما سواها: ترتيب المقاطع، وصيغة الاستشهاد، والتصرف المطلوب عند غياب المعلومة.

ترتيب المقاطع ليس محايدًا

تستفيد نماذج اللغة من المعلومات الواقعة في بداية سياقها ونهايته أكثر مما تستفيد من تلك الواقعة في وسطه. والأثر قابل للقياس ويزداد عمقًا كلما طال السياق. فإذا رتبت عشرة مقاطع بحسب الصلة تنازليًا، فإن المقاطع من 5 إلى 8 هي الأكثر عرضة لأن يتجاهلها النموذج.

ولهذا نتيجتان عمليتان. أولًا، قلّل عدد المقاطع: ثلاثة إلى خمسة مقاطع أُعيد ترتيبها خير من خمسة عشر مقطعًا خامًا، حتى من حيث جودة الإجابة. ثانيًا، إذا اضطررت إلى تمرير عدد كبير منها، فرتّبها على شكل أكورديون: الأكثر صلة أولًا، والثاني في الأهمية أخيرًا، والأقل صلة في الوسط.