返回目录 / Agent 工作流
把S3 JSON数据转换成Parquet Glue任务
通过AWS数据处理MCP发现S3数据,生成PySpark转换并创建Glue目录/作业,最后用Athena验证。
目标
为测试数据搭建从S3 JSON到Parquet的可复用ETL,并确认Athena可以查询结果。
步骤
- 在隔离AWS测试账号中指定输入S3前缀、目标bucket和Glue数据库。 [src10-strands-create-s3-to-parquet-glue-etl-pipeline]
- 让Agent查看schema并生成Glue 5 / PySpark脚本;审阅分区、格式和角色后创建Glue job。 [src10-strands-create-s3-to-parquet-glue-etl-pipeline]
- 运行测试job,确认Parquet对象和Glue表已出现,再用Athena执行小范围SELECT并检查成本。 [src10-strands-create-s3-to-parquet-glue-etl-pipeline]
验证方式
核对Glue job状态为成功、输出schema与目标表一致,Athena返回预期行且扫描数据量受限。
故障处理
若job失败,先读CloudWatch错误和IAM/S3路径;若Athena读不到表,检查Glue数据库与crawler/catalog更新。
权限边界
前置条件
- 测试AWS账号、S3测试数据、Bedrock模型访问及Glue/Athena/S3最小角色。
权限边界
- 会创建或修改Glue数据库/表/job、写S3脚本和输出,并可能产生Glue/Athena/EMR费用;限定测试账号与数据。
限制
工具可创建云资源;预估费用、启用资源清理步骤,并删除样例资源后复核账单。
固定上游来源
- 仓库
- strands-agents/samples
- 文件路径
- python/04-industry-use-cases/software-engineering/amazon-dataprocessing-agent/README.md
- 固定提交
bd46f959844424a9544133e1263c8eae61e7fe9b- 来源检查
- 2026-10-14 · 已按固定上游来源核对
仓库指标
以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。
- Stars
- 未取得
- Forks
- 未取得
- 观测时间
- 未取得
尚未取得指标快照。
许可证: Apache-2.0