قياس جودة الاسترجاع وجودة الإجابة النهائية كلّاً على حدة

الهدف

حدد ما إذا كان التحسن أو التراجع في الاسترجاع أم في توليف الإجابة.

الخطوات

1. جهّز لكل سؤال روابط المقاطع الصحيحة وإجابة مرجعية، بما في ذلك حالات التوليف متعدد الوثائق. [rag-eval]
2. استخدم evaluate_retrieval(...) في الدفتر لحساب precision وrecall وF1 وMRR؛ وشغّل evaluate_end_to_end(...) منفصلاً. [rag-eval]
3. اكتب نتائج كل طريقة في CSV/JSON مستقل مع تثبيت البيانات/النموذج وقارن مقاييس الاسترجاع والإجابة قبل التغيير وبعده. [rag-eval]

طريقة التحقق

يمكن إعادة إنتاج درجات/تفاصيل كل سؤال؛ ويمكن تمييز إخفاق الاسترجاع عن إخفاق الإجابة.

معالجة الأعطال

إذا صحت الإجابات وانخفض MRR، فافحص الوسوم/المصادر المكافئة؛ وإذا ارتفع الاسترجاع وانخفضت الدقة، فافحص التوليف والامتناع.