用任务集比较工具定义质量

目标

目标：对固定任务运行agent工具调用，统计成功率、耗时与模型给出的工具反馈。

步骤

1. 准备答案可核对的任务fixture及候选工具schema；固定模型、prompt和运行限制。 [tool-eval]
2. 按示例agent_loop(prompt, tools=...)执行每个任务；记录工具调用序列、输入、耗时和最终答案。 [tool-eval]
3. 按expected output核对答案，并汇总工具名称/参数/描述的具体改进反馈；同一案例多次运行检查方差。 [tool-eval]

验证方式

报告包含每项成功与失败、工具使用和耗时；更改schema后对照同一基线集。

故障处理

若输出格式无法解析，将其计为失败并改进任务输出契约；不要只按模型自评来判定工具有效。