تقسيم المستندات دون إفساد المعنى

دليل تقني من 80 صفحة، جرى تقسيمه آليًا كل 1 000 حرف. ينتهي المقطع 47 بعبارة: الضغط الأقصى المسموح به هو. ويبدأ المقطع 48 بعبارة: 12 بار، باستثناء الطرازات السابقة لعام 2018. يسأل مستخدم عن الضغط الأقصى المسموح به. يُرجع البحث الشعاعي المقطع 47 لأنه هو الذي يحتوي على كلمات السؤال. يتلقى النموذج جملة مبتورة ولا يجد أي قيمة، فيجيب بأن المعلومة غير متوفرة. لقد فهرستم الصفحة الصحيحة وخسرتم الإجابة الصحيحة.

هذا السيناريو ليس حالة هامشية، بل هو نمط الإخفاق الأكثر شيوعًا في النماذج الأولية الأولى. فالتقسيم يحدد ما يمكن أن يعنيه المقطع وحده، بمعزل عن مستنده، بعد أن يخرج من سياقه. المقطع إما وحدة معنى مستقلة وإما لا شيء: فسيُسترجع وحده، ويُقرأ وحده، ويُستشهد به وحده. أما التقسيم بعدد الأحرف فمعناه افتراض أن المعنى ينتهي كل 1 000 حرف، وهذا لا ينطبق على أي مستند كتبه إنسان.

المعاملات الثلاثة ومقايضاتها الحقيقية

حجم المقطع يوازن بين الدقة والاكتمال. المقاطع القصيرة، من 200 إلى 400 رمز (tokens)، تنتج متجهات واضحة: المقطع يتناول موضوعًا واحدًا، فتضمينه (embedding) قليل الالتباس، وبالتالي يكون التشابه موثوقًا. لكن غالبًا ما ينقصه السياق اللازم للإجابة. أما المقاطع الطويلة، من 1 000 إلى 1 500 رمز، فتحتوي على الإجابة كاملة، لكن متجهها متوسط لعدة موضوعات، فيقترب من كل شيء ومن لا شيء.