返回目录 / Agent 工作流
复现搜索代理基准并计算准确率
在固定问题集上运行检索agent,采用标准答案和明确评分器量化结果。
目标
目标:在固定问题集上运行检索agent,采用标准答案和明确评分器量化结果。
步骤
- 固定样例问题、目标模型、工具版本、effort和token task budget;保存每个配置。 [search-eval]
- 用示例
sample(question, max_turns=100)生成回答;保存搜索轨迹、结束状态与原始输出。 [search-eval] - 用
grade_response计算precision/recall/F1;对BrowseComp类题目使用规定的A/B/C grader并单独报告abstain。 [search-eval]
验证方式
固定版本配置可重复运行;报告样本数、F1/accuracy、abstain和预算/耗时。
故障处理
如评分差异大,检查答案规范化和问题难度分布;标明有限样例结果,不与不同effort/model直接比较。
权限边界
前置条件
- Python 3.11+、Anthropic API key、benchmark依赖与获准使用的问题集。
权限边界
- 控制token预算与请求成本;问题/答案如受版权或保密限制,先获得许可并仅保留必要数据。
限制
结果对模型版本、工具、检索可用性和随机性敏感;benchmark分数不是线上质量保证。
固定上游来源
- 仓库
- anthropics/anthropic-cookbook
- 文件路径
- evals/agentic_search/reproduce_agentic_search_benchmarks.ipynb
- 固定提交
9c1e493ddd2b82df399d2a61b9c806c539e18be6- 来源检查
- 2026-10-14 · 已按固定上游来源核对
仓库指标
以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。
- Stars
- 未取得
- Forks
- 未取得
- 观测时间
- 未取得
尚未取得指标快照。
许可证: MIT