返回目录 / Agent 评估
用确定性模拟模型测试Agent编排
不调用真实模型服务,验证应用拥有的工具调度、handoff和输出处理逻辑。
目标
以可重复的输入和预设模型输出检查工作流控制逻辑。
步骤
- 划分由应用控制的行为与依赖真实模型或远端服务的行为。 [openai-testing]
- 用
agents.testing.ScriptedModel([assistant_message(...)])预设模型答复;工具轨迹场景加入function_call(...)。 [openai-testing] - 用SDK提供的测试运行器和模拟模型执行工作流测试,并在测试配置中关闭追踪上传。 [openai-testing]
- 断言调用次序、最终输出和拒绝/失败分支,不依赖模型措辞随机性。 [openai-testing]
- 将需验证供应商或网络行为的场景留给隔离的集成测试。 [openai-testing]
验证方式
相同脚本重复运行应得到相同的工具序列与结果,且单元测试不发起模型请求。
故障处理
若测试意外访问服务商,确认模拟模型生效并关闭追踪导出。
权限边界
前置条件
- Python运行环境;对应SDK版本与其配置方式
权限边界
- 只在本地或隔离测试环境操作;涉及外部数据或副作用时使用最小权限并先审批
限制
只验证应用拥有的编排,不覆盖真实模型质量、供应商协议或网络故障。该测试不需要API key;若设置了凭据,应关闭追踪导出避免上传测试数据。
固定上游来源
- 仓库
- openai/openai-agents-python
- 文件路径
- docs/testing.md
- 固定提交
f53c62451c7f34c15f0c87fa745e05404025420f- 来源检查
- 2026-10-14 · 已按固定上游来源核对
仓库指标
以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。
- Stars
- 未取得
- Forks
- 未取得
- 观测时间
- 未取得
尚未取得指标快照。
许可证: MIT