用基准案例比较上下文与工具成本优化

目标

目标：在相同结果质量门槛下比较精简上下文、按需取数、子代理和批处理方案。

步骤

1. 用cookbook合成理赔样例和标注expected结果建立固定评测集；先跑完整上下文基线。 [cost-opt]
2. 分别测按需tool_search、按需读取手册、子代理隔离上下文和Message Batches；每轮只改变一个成本杠杆。 [cost-opt]
3. 记录答案正确率、调用数、输入tokens与API账单；仅在准确率不低于基线时采用更便宜方案。 [cost-opt]

验证方式

每种方案在同一样例上得出可比较指标，成本下降且正确率维持在预设阈值。

故障处理

若基线和优化答案不一致，人工复核是否属真实回归；不要用单次采样证明节省或质量不变。