返回目录 / Agent 工作流
用标注集灰度测试并回滚提示版本
在带标签样例上对比新旧prompt,发现回归后将生产调用钉回旧版本。
目标
目标:在带标签样例上对比新旧prompt,发现回归后将生产调用钉回旧版本。
步骤
验证方式
留存评测集、版本号、逐项得分和promoted/rollback决策,重跑时结果可比较。
故障处理
不要使用最新裸agent ID隐式跟随版本;旧版本仍可用于回滚,但须在配置/访问层控制部署。
权限边界
前置条件
- Python 3.11+、Anthropic API key、Managed Agents beta SDK和脱敏的标注回归集。
权限边界
- 仅在测试集验证;新版本逐步canary,发布权限与评测数据访问分离。
限制
用评分和覆盖用例评估prompt改动,并结合线上监控与人工复核关键场景。
固定上游来源
- 仓库
- anthropics/anthropic-cookbook
- 文件路径
- managed_agents/CMA_prompt_versioning_and_rollback.ipynb
- 固定提交
9c1e493ddd2b82df399d2a61b9c806c539e18be6- 来源检查
- 2026-10-14 · 已按固定上游来源核对
仓库指标
以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。
- Stars
- 未取得
- Forks
- 未取得
- 观测时间
- 未取得
尚未取得指标快照。
许可证: MIT