AWS Glue データカタログを使用すると、AWS の複数のデータセットに配置されたデータを、移動せずに簡単に検出および検索できます。カタログ化されたデータは、すぐに Amazon Athena、Amazon EMR、Amazon Redshift Spectrum を使用した検索やクエリで利用できるようになります。

データレイクは、構造化データおよび非構造化データの保存と分析を行う手段として人気が高まっています。Amazon S3 のデータレイクを使用している場合、AWS Glue によって、すべてのデータを瞬時に分析用に準備できます。データを移動する必要はありません。Glue のクローラによってデータレイクがスキャンされ、基盤となるデータと Glue データカタログとの同期が維持されます。その上で、Amazon Athena および Amazon Redshift Spectrum から、データレイクに対するクエリを直接送信できます。また、Amazon EMR で実行されるビッグデータ処理のアプリケーションで利用するために、Glue データカタログを外部の Apache Hive メタストアとして使用することもできます。

AWS Glue では、新しいデータセットの取得といったイベントに基づいて ETL ジョブを実行できます。例えば、AWS Lambda 関数を使用して、新しいデータが Amazon S3 で利用可能になるとすぐに ETL ジョブがトリガーされるように設定できます。また、ETL ジョブの処理の一環として、このような新しいデータセットを AWS Glue データカタログに登録することもできます。