返回目录 / Agent 工作流
校验聊天微调数据并估算训练成本
检查JSONL对话结构、错误类别、数据统计与token成本,再准备干净训练文件。
目标
检查JSONL对话结构、错误类别、数据统计与token成本,再准备干净训练文件。
步骤
- 逐行检查messages、role/content字段及未知键并分类报错。 [source-openai-validate-chat-finetuning-dataset]
- 计算样本数、长度与token估算,按文档阈值标记异常。 [source-openai-validate-chat-finetuning-dataset]
- 修复后重跑校验并人工抽查,再由负责人决定是否上传训练。 [source-openai-validate-chat-finetuning-dataset]
验证方式
统计JSONL总行数、通过/拒绝行数、错误类型及估算token,并核对清洗文件只含有效样例。
故障处理
若行被拒绝,按报告的行号检查角色顺序、JSON结构或消息字段;不要将原文件覆盖。
权限边界
前置条件
- Python、OpenAI API账户和脱敏/获准对话JSONL;不直接提交训练。
权限边界
- 本地读取JSONL并可调用tokenizer估算;上传文件或创建微调任务会把训练数据传给服务商并可能计费,只有单独批准后才做。
限制
先在隔离测试数据上运行可复现示例,核对输出与依赖版本,再按目标生产环境调整。
固定上游来源
- 仓库
- openai/openai-cookbook
- 文件路径
- examples/Chat_finetuning_data_prep.ipynb
- 固定提交
5bd6cb40b6b84b69b2032d810610aa85064102df- 来源检查
- 2026-10-14 · 已按固定上游来源核对
仓库指标
以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。
- Stars
- 未取得
- Forks
- 未取得
- 观测时间
- 未取得
尚未取得指标快照。
许可证: MIT