Agent 创收指南免费公开资源
中文 EN العربية

返回目录 / Agent 工作流

把S3 JSON数据转换成Parquet Glue任务

通过AWS数据处理MCP发现S3数据,生成PySpark转换并创建Glue目录/作业,最后用Athena验证。

目标

为测试数据搭建从S3 JSON到Parquet的可复用ETL,并确认Athena可以查询结果。

步骤

  1. 在隔离AWS测试账号中指定输入S3前缀、目标bucket和Glue数据库。 [src10-strands-create-s3-to-parquet-glue-etl-pipeline]
  2. 让Agent查看schema并生成Glue 5 / PySpark脚本;审阅分区、格式和角色后创建Glue job。 [src10-strands-create-s3-to-parquet-glue-etl-pipeline]
  3. 运行测试job,确认Parquet对象和Glue表已出现,再用Athena执行小范围SELECT并检查成本。 [src10-strands-create-s3-to-parquet-glue-etl-pipeline]

验证方式

核对Glue job状态为成功、输出schema与目标表一致,Athena返回预期行且扫描数据量受限。

故障处理

若job失败,先读CloudWatch错误和IAM/S3路径;若Athena读不到表,检查Glue数据库与crawler/catalog更新。

权限边界

前置条件

权限边界

限制

工具可创建云资源;预估费用、启用资源清理步骤,并删除样例资源后复核账单。

固定上游来源

https://github.com/strands-agents/samples/blob/bd46f959844424a9544133e1263c8eae61e7fe9b/python/04-industry-use-cases/software-engineering/amazon-dataprocessing-agent/README.md

仓库
strands-agents/samples
文件路径
python/04-industry-use-cases/software-engineering/amazon-dataprocessing-agent/README.md
固定提交
bd46f959844424a9544133e1263c8eae61e7fe9b
来源检查
2026-10-14 · 已按固定上游来源核对

仓库指标

以下数字属于上游仓库整体,不代表单个 Skill 或指南的点赞/热度。

Stars
未取得
Forks
未取得
观测时间
未取得

尚未取得指标快照。

许可证: Apache-2.0

主主题

让编码 Agent 从理解上下文走到验证修改

相关资源