AWS Glue 是一项完全托管的 ETL 服务，可使您轻松地在数据存储之间移动数据。AWS Glue 可以简化并自动化执行耗时且难执行的数据发现、转换和映射操作及任务调度工作。AWS Glue 通过易于使用的控制台指导您执行数据移动流程，帮助您了解您的数据源、准备数据进行分析并将数据可靠地从数据源加载到数据目标。
AWS Glue 已与 Amazon S3、Amazon RDS 和 Amazon Redshift 集成，且可以连接到任何符合 JDBC 标准的数据存储。AWS Glue 将自动爬取您的数据源并识别数据格式，然后提出架构和转换建议，因此您无需花时间对数据流进行手工编码。之后，您可以使用您了解的工具和技术 (如 Python、Spark、Git) 和您偏好的集成开发环境 (IDE) 来编辑这些转换 (如需要)，并与其他 AWS Glue 用户分享。AWS Glue 会对您的 ETL 任务进行调度，并会预配置和扩展所需的所有基础设施，以便 ETL 任务能够以任意规模快速高效地运行。您没有服务器需要管理，且只需为您的 ETL 任务所使用的资源付费。
如需有关服务可用性的最新信息，请在此处注册，我们将通过电子邮件向您发送相关信息。
第 1 步：构建数据目录
首先，在 AWS 管理控制台中使用 AWS Glue 注册您的数据源。AWS Glue 将爬取您的数据源，并使用适用于多个常见源格式和数据类型 (包括 JSON、CSV、Parquet 等) 的预构建分类器来构建一个数据目录。您还可以添加自己的分类器，也可以从 AWS Glue 社区选择分类器并将其添加到您爬取的数据。
单击查看大图
第 2 步：生成和编辑转换
接下来，选择数据源和目标。AWS Glue 将生成 Python 代码，以从源中提取数据、转换数据来匹配目标架构并将数据加载到目标。自动生成的代码可以处理常见的错误情况，如不良数据或硬件故障。您可以使用自己偏好的 IDE 来编辑此代码，并使用自己的示例数据对其进行测试。您还可以浏览其他 AWS Glue 用户分享的代码，并将其提取到您的任务中。
单击查看大图
第 3 步：调度和运行任务
最后，您可以使用 AWS Glue 灵活的计划程序来重复运行数据流来响应触发器，甚至响应 AWS Lambda 事件。AWS Glue 会自动在 Apache Spark 节点上分配您的 ETL 任务，因此，随着数据量的增长，您的 ETL 运行次数也会保持一致。AWS Glue 会按正确的顺序协调任务的执行顺序，并会自动重试失败的任务。AWS Glue 将弹性地扩展所需的基础设施，以按时完成您的任务并最大限度地降低成本。
单击查看大图
完成！
以上就是所有步骤！ETL 任务执行时，AWS Glue 将帮助您跟踪元数据的更改 (如架构定义和数据格式)，以便您可以保持 ETL 任务处于最新状态。
