返回目录 / Agent 评估
为提示模板生成隐私安全的合成测试用例
从模板变量约束生成多样输入,再用这些输入比较提示版本表现。
目标
在缺少或不得使用真实用户样本时建立可复现的提示测试集。
步骤
- 从 prompt template 明确列出变量、类型、有效范围和互斥约束。 [synthetic]
- 按 notebook 的 generator prompt 生成覆盖常见、边界和组合样例的 JSON,校验每个字段后再保存。 [synthetic]
- 在固定模型/参数下对多个 prompt 版本运行同一测试集,人工抽查生成样例是否符合变量约束。 [synthetic]
验证方式
测试集含预期覆盖类别且没有真实个人数据;prompt 版本比较输出可复现。
故障处理
若生成样例不符合约束,丢弃而非手动修饰成成功用例;增加缺失边界规则后重生成。
权限边界
前置条件
- Python、Anthropic SDK、API key、模板定义;无需真实用户样本。
权限边界
- 生成输入不得含真实个人信息;将 API 输出保存在批准的隔离测试目录。
限制
合成分布可能不代表真实用户分布,不能单独用于发布验收或公平性结论。
固定上游来源
- 仓库
- anthropics/anthropic-cookbook
- 文件路径
- misc/generate_test_cases.ipynb
- 固定提交
9c1e493ddd2b82df399d2a61b9c806c539e18be6- 来源检查
- 2026-10-14 · 已按固定上游来源核对
仓库指标
以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。
- Stars
- 未取得
- Forks
- 未取得
- 观测时间
- 未取得
尚未取得指标快照。
许可证: MIT