返回目录 / Agent 评估
用明确通过条件迭代改进代码草稿
让生成器实现任务、评估器只按标准给反馈,并在有界循环中继续修改。
目标
将一份代码草稿迭代到独立评估达到 PASS 或明确停止。
步骤
- 为任务定义正确性、复杂度和风格标准;要求 evaluator 只输出 PASS/NEEDS_IMPROVEMENT/FAIL 与反馈。 [optimizer]
- 生成器接收原任务与上一轮反馈;评估器读取本轮候选,不能直接替生成器改代码。 [optimizer]
- 设置最大轮数;记录每轮候选/评估,遇到 PASS 后运行本地测试并由人工审阅最终 diff。 [optimizer]
验证方式
故意注入失败实现,评估器给出可执行反馈;循环能收敛或明确到达轮数上限。
故障处理
若总是 PASS,校准标准并加入反例;若反复修改同一问题,终止并交人工。
权限边界
前置条件
- Python、anthropic SDK、API key、可丢弃代码样例和本地测试命令。
权限边界
- 只写入临时分支/补丁文件;不得让循环直接提交、合并或部署。
限制
LLM evaluator 不是形式化验证;示例需由应用自己实现轮数边界,PASS 不代替 tests/review。
固定上游来源
- 仓库
- anthropics/anthropic-cookbook
- 文件路径
- patterns/agents/evaluator_optimizer.ipynb
- 固定提交
9c1e493ddd2b82df399d2a61b9c806c539e18be6- 来源检查
- 2026-10-14 · 已按固定上游来源核对
仓库指标
以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。
- Stars
- 未取得
- Forks
- 未取得
- 观测时间
- 未取得
尚未取得指标快照。
许可证: MIT