批量提交离线文本任务并对账结果

目标

目标：把大量独立prompt异步提交，监控完成态后按custom_id汇总成功与失败。

步骤

1. 给每个请求分配稳定custom_id，构造{"custom_id":..., "params":{"model":...,"max_tokens":...,"messages":[...]}}。 [batch]
2. 用client.beta.messages.batches.create(requests=...)提交并持久化返回batch ID；后台轮询retrieve(batch_id)直至processing_status == "ended"。 [batch]
3. 调用results接口逐项写入结果仓库，按custom_id做幂等upsert；分离成功、错误和未返回项。 [batch]

验证方式

请求数等于已对账的成功+失败+未返回项；重跑只重试失败项且保留原batch映射。

故障处理

若batch长时间未结束，使用有界退避轮询并记录状态；不能因为HTTP创建成功就宣告所有项目完成。