分别测量 RAG 检索命中与最终答案质量

目标

确定改进发生在检索阶段还是回答综合阶段。

步骤

1. 为每题准备 question、gold relevant chunk links 和参考答案，保证测试集覆盖需要多文档合成的问题。 [rag-eval]
2. 按 notebook 实现 evaluate_retrieval(...)，记录 precision、recall、F1、MRR；另跑 evaluate_end_to_end(...)。 [rag-eval]
3. 将各方法结果写到独立 CSV/JSON 并固定数据与模型版本，比较改动前后的检索和回答指标。 [rag-eval]

验证方式

基线与改进方法的分数/每题明细可复现；低检索分数与低回答分数能分别定位。

故障处理

若答案正确但 MRR 低，检查标注或是否有等价来源；若召回高而准确率低，检查提示综合和拒答行为。