Agent 创收指南免费公开资源
中文 EN العربية

返回目录 / Agent 工作流

用标注集灰度测试并回滚提示版本

在带标签样例上对比新旧prompt,发现回归后将生产调用钉回旧版本。

目标

目标:在带标签样例上对比新旧prompt,发现回归后将生产调用钉回旧版本。

步骤

  1. 保存一组固定support tickets及预期team/priority,定义分组准确率和关键误分类门槛。 [prompt]
  2. 用agents.update(..., version=known_version, system=...)创建新不可变版本;为每个fixture通过sessions.create(agent={"type":"agent","id":...,"version":N})显式选版本。 [prompt]
  3. 按同一标注集计算v1/v2各团队分数;只有指标达到门槛才改配置指向v2,回归时把版本号恢复为v1。 [prompt]

验证方式

留存评测集、版本号、逐项得分和promoted/rollback决策,重跑时结果可比较。

故障处理

不要使用最新裸agent ID隐式跟随版本;旧版本仍可用于回滚,但须在配置/访问层控制部署。

权限边界

前置条件

权限边界

限制

用评分和覆盖用例评估prompt改动,并结合线上监控与人工复核关键场景。

固定上游来源

https://github.com/anthropics/anthropic-cookbook/blob/9c1e493ddd2b82df399d2a61b9c806c539e18be6/managed_agents/CMA_prompt_versioning_and_rollback.ipynb

仓库
anthropics/anthropic-cookbook
文件路径
managed_agents/CMA_prompt_versioning_and_rollback.ipynb
固定提交
9c1e493ddd2b82df399d2a61b9c806c539e18be6
来源检查
2026-10-14 · 已按固定上游来源核对

仓库指标

以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。

Stars
未取得
Forks
未取得
观测时间
未取得

尚未取得指标快照。

许可证: MIT

主主题

把电商活动资料整理成可复核周报

相关资源