Agent 创收指南免费公开资源
中文 EN العربية

返回目录 / Agent 工作流

复现搜索代理基准并计算准确率

在固定问题集上运行检索agent,采用标准答案和明确评分器量化结果。

目标

目标:在固定问题集上运行检索agent,采用标准答案和明确评分器量化结果。

步骤

  1. 固定样例问题、目标模型、工具版本、effort和token task budget;保存每个配置。 [search-eval]
  2. 用示例sample(question, max_turns=100)生成回答;保存搜索轨迹、结束状态与原始输出。 [search-eval]
  3. 用grade_response计算precision/recall/F1;对BrowseComp类题目使用规定的A/B/C grader并单独报告abstain。 [search-eval]

验证方式

固定版本配置可重复运行;报告样本数、F1/accuracy、abstain和预算/耗时。

故障处理

如评分差异大,检查答案规范化和问题难度分布;标明有限样例结果,不与不同effort/model直接比较。

权限边界

前置条件

权限边界

限制

结果对模型版本、工具、检索可用性和随机性敏感;benchmark分数不是线上质量保证。

固定上游来源

https://github.com/anthropics/anthropic-cookbook/blob/9c1e493ddd2b82df399d2a61b9c806c539e18be6/evals/agentic_search/reproduce_agentic_search_benchmarks.ipynb

仓库
anthropics/anthropic-cookbook
文件路径
evals/agentic_search/reproduce_agentic_search_benchmarks.ipynb
固定提交
9c1e493ddd2b82df399d2a61b9c806c539e18be6
来源检查
2026-10-14 · 已按固定上游来源核对

仓库指标

以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。

Stars
未取得
Forks
未取得
观测时间
未取得

尚未取得指标快照。

许可证: MIT

主主题

把电商活动资料整理成可复核周报

相关资源