用记录的对话与工具轨迹建立Agent回归评测

目标

把Agent行为变化变成可重复的质量检查，覆盖答复与工具选择。

步骤

1. 挑选覆盖常见请求、边界请求与错误恢复的样例，并删除隐私字段。 [eval]
2. 将脱敏对话保存为 *.test.json EvalSet，包含用户轮次、期望回答和期望tool trajectory。 [eval]
3. 在pytest中运行 AgentEvaluator.evaluate(agent_module="my_agents.agent", eval_dataset_file_path_or_dir="tests/eval/")。 [eval]
4. 对失败样例查看轨迹差异，区分内容变化、错误工具与真实回归。 [eval]

验证方式

CI报告包含每个case的回答与工具评分，失败时能定位具体对话和偏差。

故障处理

若评测分数不稳定，固定样例和评测配置；不要放宽阈值掩盖工具轨迹错误。