AWS Glue は、データストア間でデータ移動を簡単に行うための完全マネージド型 ETL サービスです。AWS Glue を使うと、困難で時間のかかるデータ検出、変換、マッピング、ジョブスケジューリングのタスクを簡単に、自動で行えるようになります。AWS Glue では、わかりやすいコンソールを使ってデータ移動プロセスをガイドするため、データソースの理解、分析用データの準備、データソースから宛先へ信頼性の高いロードを実行するのに役立ちます。
AWS Glue では、Amazon S3、Amazon RDS、Amazon Redshift と統合し、JDBC 準拠のデータストアに接続することができます。データソースを自動的にクロールし、データフォーマットを識別してからスキーマと変換を提案するため、データフローを手作業でコーディングする時間を費やす必要がなくなります。AWS Glue では、Python、Spark、Git、お気に入りの統合開発環境 (IDE) など、既に知っているツールやテクノロジーを使用し、必要に応じてこれらの変換を編集して、他の AWS Glue ユーザーと共有することも可能です。AWS Glue は ETL ジョブをスケジュールし、必要なすべてのインフラストラクチャのプロビジョニングとスケーリングを行うため、ETL ジョブをあらゆる規模ですばやく効率的に実行することが可能になります。管理するサーバーはなく、ETL ジョブによって消費されるリソースの分しか料金は発生しません。
こちらからサインアップしていただくと、このサービスの利用可能状況に関する最新の情報をメールで受け取ることができます。
ステップ 1: データカタログを構築する
最初に、AWS マネジメントコンソールを使って AWS Glue でデータソースを登録します。AWS Glue では、JSON、CSV、Parquet などの多くの一般的なソースフォーマットやデータタイプに対して、あらかじめ作成された分類子を使用してデータソースをクロールし、データカタログを構築することができます。また、独自の分類子を追加することや、AWS Glue コミュニティから分類子を選択してクロールに使用することも可能です。
画像を拡大
ステップ 2: データ変換を生成、編集する
次に、データソースとターゲットを選択します。AWS Glue によって Python コードが生成されてソースからデータが抽出され、そのデータがターゲットのスキーマに合わせて変換されてターゲットにロードされます。自動生成されたコードでは、不適合データやハードウェア障害などの一般的なエラーケースを処理できます。このコードはお気に入りの IDE を使って編集し、独自のサンプルデータでテストすることが可能です。AWS Glue ユーザーと共有しているコードを参照し、活用することもできます。
画像を拡大
ステップ 3: ジョブをスケジュールして実行する
最後に、AWS Glue の柔軟なスケジューラを使って、フローを定期的に、トリガーに応じて、または AWS Lambda イベントに対応して実行できます。AWS Glue では ETL ジョブが Apache Spark ノードに自動的に配布されるため、データ量が増加しても ETL の実行時間を一定に保つことが可能です。AWS Glue を使うと、ジョブの実行を適切な順序で調整し、失敗したジョブを自動的に再試行できます。また、時間通りにジョブを完了させてコストを最小限に抑えるために、必要に応じてインフラストラクチャを伸縮自在にスケーリングすることも可能です。
画像を拡大
これで AWS Glue の使用を開始できました。
そう、これだけです。ETL ジョブが実際に稼働し始めると、AWS Glue を使って、スキーマ定義やデータフォーマットなどのメタデータへの変更を追跡できるため、ETL ジョブを常に最新の状態に保つことができます。
