Agent 创收指南免费公开资源
中文 EN العربية

返回目录 / Agent 评估

为提示模板生成隐私安全的合成测试用例

从模板变量约束生成多样输入,再用这些输入比较提示版本表现。

目标

在缺少或不得使用真实用户样本时建立可复现的提示测试集。

步骤

  1. 从 prompt template 明确列出变量、类型、有效范围和互斥约束。 [synthetic]
  2. 按 notebook 的 generator prompt 生成覆盖常见、边界和组合样例的 JSON,校验每个字段后再保存。 [synthetic]
  3. 在固定模型/参数下对多个 prompt 版本运行同一测试集,人工抽查生成样例是否符合变量约束。 [synthetic]

验证方式

测试集含预期覆盖类别且没有真实个人数据;prompt 版本比较输出可复现。

故障处理

若生成样例不符合约束,丢弃而非手动修饰成成功用例;增加缺失边界规则后重生成。

权限边界

前置条件

权限边界

限制

合成分布可能不代表真实用户分布,不能单独用于发布验收或公平性结论。

固定上游来源

https://github.com/anthropics/anthropic-cookbook/blob/9c1e493ddd2b82df399d2a61b9c806c539e18be6/misc/generate_test_cases.ipynb

仓库
anthropics/anthropic-cookbook
文件路径
misc/generate_test_cases.ipynb
固定提交
9c1e493ddd2b82df399d2a61b9c806c539e18be6
来源检查
2026-10-14 · 已按固定上游来源核对

仓库指标

以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。

Stars
未取得
Forks
未取得
观测时间
未取得

尚未取得指标快照。

许可证: MIT

主主题

让编码 Agent 从理解上下文走到验证修改

相关资源