Security Best Practices:按技术栈审查
为什么选择: 当任务涉及代码或系统安全审阅时,按项目语言与框架查找对应参考。
何时不适用: 它不是能在运行时拦截某条恶意文档指令的防护器。
先固定一项低风险任务、获准样本、人工基线和复测规则,再比较总耗时与质量;达到预设条件才扩展。
试点只覆盖一项有负责人、明确输入和可核对输出的业务任务。先记录人工完成同一批样本的时间与错误,再记录 Agent 运行、审核和返工时间;用常见、缺失、重复、冲突样本验收。只有质量达标、总成本可接受且恢复责任明确,才扩大范围。
| 工作项 | 人工基线(分钟) | Agent方案(分钟/金额) |
|---|---|---|
| 资料准备/整理 | _____ 人工分钟 | _____ 人工分钟;运行经过 _____ 分钟 |
| 审核结果 | _____ 人工分钟 | _____ 人工分钟 |
| 返工/修正 | _____ 人工分钟 | _____ 人工分钟 |
| 工具/模型费用 | 不适用或填写现状 | _____ 金额及币种 |
| 样本 | 预期行为 | 通过证据 |
|---|---|---|
| 常见记录 | 按来源生成草稿,数字可回查 | 字段、行号和数字逐项一致 |
| 缺字段/分母 | 标缺失并暂停相关结论 | 缺项列出;不猜、不比较 |
| 重复记录 | 标记并请求核实,不重复计入 | 重复ID和待确认状态可追溯 |
| 来源冲突 | 并列来源并转人工确认 | 冲突来源、时间及处理人留痕 |
| 运行失败 | 停止、保留记录并人工接管 | 失败状态、恢复步骤和负责人可查 |
试点卡片写明:任务和不做事项、谁提供输入、谁复核、结果交给谁、可用资料范围、人工接管方式,以及出现何种错误就暂停。首次试点让 Agent 只生成草稿,不自动退款、改库存、发送客户消息或发布内容。 咨询前准备清单:任务负责人;已授权的数据样例;范围与不做事项;验收样本及通过条件;工具权限和人工审批;预期交付文件;维护、费用和退出约定。
记录人工基线:完成任务、检查结果和返工分别用了多久,错误或遗漏有哪些。Agent 侧记录运行时间、人工审核时间和返工时间,并单列工具或模型费用。比较同一批样本;不把单次成功推成普遍节省,也不忽略审核成本。
在试点开始前约定通过条件,例如关键字段准确、异常被标记、不得发生未经批准的动作;阈值由业务负责人按任务风险设定,不把示例阈值说成行业标准。
遇到输入变化、来源冲突、权限不明、重复执行或结果无法核对时,转人工并保留记录。明确谁修正数据、谁恢复运行以及如何避免重复写入。
复测覆盖正常输入、缺失字段、重复样本、冲突值和一次可恢复失败。质量不达标或返工抵消收益就暂停并缩小范围;达标后先增加一种输入或一个小批次,复测后再讨论写入、发送等新动作。
用示例输入对照输出和验收规则。
练习说明(虚构):团队想评估每周活动周报草稿。样本数、负责人、人工基线、验收阈值、可用数据和工具权限尚未确定;本例只填写计划,不运行 Agent。
根据这份未完成的计划说明,返回可填写的试点计划 JSON:任务与不做事项、负责人、获准样本、通过条件、人工基线(准备/处理/审核/返工分钟)、Agent 运行经过时间、人工审核/返工分钟、费用、权限与审批、交付物、维护责任、暂停/退出条件。没有资料的字段写“待填写”;不得声称试点已执行、结果已测或存在某类异常。
{
"task_and_exclusions": "待填写",
"owner_and_reviewer": "待填写",
"approved_samples_and_pass_conditions": "待填写",
"manual_baseline_minutes": "准备 / 处理 / 审核 / 返工:待填写",
"agent_elapsed_run_time_and_fees": "待填写",
"human_review_and_rework_minutes": "待填写",
"permissions_and_approval": "审批前仅生成草稿",
"deliverables_and_maintenance_owner": "待填写",
"pause_and_exit_conditions": "待填写",
"pilot_status": "计划阶段;未执行"
}为什么选择: 当任务涉及代码或系统安全审阅时,按项目语言与框架查找对应参考。
何时不适用: 它不是能在运行时拦截某条恶意文档指令的防护器。
为什么选择: 从入口、身份、数据资产和攻击者能力构建风险排序并落盘报告。
何时不适用: 低风险离线摘要不需要完整生产系统威胁模型。
为什么选择: 为用户输入和Agent最终答复添加可测试的拒绝条件,并区分每次工具调用的检查。
何时不适用: 提示/输出校验不能替代工具权限边界。
为什么选择: 在Agent准备执行外部变更时暂停运行,让用户检查并批准确切操作。
何时不适用: 只生成本地草稿、不执行外部发送/发布时,不需要接入审批。
为什么选择: 把窄范围应用函数暴露为有明确参数契约的工具,并验证调用输入。
何时不适用: 若任务只读 Skill 或静态资源,就不需要工具参数结构。
为什么选择: 不调用真实模型服务,验证应用拥有的工具调度、handoff和输出处理逻辑。
何时不适用: 模型 mock 测试不能衡量真实模型回答质量。
为什么选择: 为一项工作流关联模型调用、工具执行、guardrail和Agent转交的时间线,以便诊断。
何时不适用: 单次离线决策用简单测试即可,不需要分布式 trace。