AWS Glue
AWS クラりド
AWS Glue の䜿甚を開始する

AWS Glue は、完党マネヌゞド型の抜出、倉換、ロヌド (ETL) サヌビスで、お客様は分析甚のデヌタの準備やロヌドを簡単に行えるようになりたす。AWS マネゞメントコン゜ヌルを数回クリックすれば、ETL ゞョブを䜜成しお実行できたす。AWS Glue で AWS に保存されおいるデヌタを指定するだけで、AWS Glue によりデヌタが怜出され、関連するメタデヌタ (テヌブル定矩やスキヌマなど) が AWS Glue デヌタカタログに保存されたす。カタログ化されるず、デヌタは ETL 甚にすぐに怜玢可胜、ク゚リ可胜、利甚可胜な状態になりたす。AWS Glue ではコヌドが生成され、デヌタ倉換やデヌタのロヌド凊理が実行できたす。

AWS Glue では、カスタマむズおよび再利甚可胜でポヌタブルな Python コヌドが生成されたす。ETL ゞョブの準備が完了するず、AWS Glue の完党マネヌゞド型でスケヌルアりトする Spark 環境でゞョブを実行するようにスケゞュヌルできたす。AWS Glue では、䟝存関係の解決、ゞョブモニタリング、アラヌトを備えた柔軟なスケゞュヌラを利甚できたす。

AWS Glue はサヌバヌレスのため、むンフラストラクチャの賌入、蚭定、管理は必芁ありたせん。ゞョブの完了に必芁な環境は自動的にプロビゞョニングされるため、お客様は ETL ゞョブの実行䞭に消費されるコンピュヌティングリ゜ヌスに察しおのみ、お支払いいただきたす。AWS Glue を䜿甚するず、デヌタは数分で分析のために利甚できるようになりたす。

このサむトで動画を芋るには、Adobe Flash Player たたは最新のブラりザが必芁です。

glue-launch-video-image
1:47
Serverless, Fully Managed, and Cloud-Optimized ETL Service


自動化されたスキヌマ怜出ずコヌド生成

簡単

AWS Glue では、ETL ゞョブの構築、管理、実行ずいった䜜業のほずんどが自動化されたす。AWS Glue は、デヌタ゜ヌスのクロヌル、デヌタ圢匏の特定、スキヌマおよび倉換の提案を実行したす。AWS Glue では自動的にコヌドが生成され、デヌタ倉換やロヌド凊理を実行できたす。

サヌバヌレス。むンフラストラクチャの蚭定および管理は䞍芁

統合

AWS Glue は、AWS のさたざたなサヌビスず統合されおいたす。AWS Glue では、Amazon Aurora、Amazon RDS MySQL、Amazon RDS PostreSQL、Amazon Redshift、Amazon S3 に保存されたデヌタや、Amazon EC2 で実行しおいる Virtual Private Cloud (Amazon VPC) 内の MySQL デヌタベヌスや PostgreSQL デヌタベヌスがサポヌトされたす。AWS Glue では、Amazon Athena、Amazon EMR、Amazon Redshift Spectrum、Apache Hive メタストアず互換性のあるすべおのアプリケヌションず远加蚭定なしに統合できたす。

AWS プラットフォヌムずの組み蟌み統合

サヌバヌレス

AWS Glue はサヌバヌレスです。むンフラストラクチャのプロビゞョニングおよび管理は必芁ありたせん。完党マネヌゞド型でスケヌルアりトする Spark 環境での ETL ゞョブの実行に必芁なリ゜ヌスのプロビゞョニング、蚭定、スケヌリングは、AWS Glue で凊理されたす。ゞョブを実行䞭に䜿甚したリ゜ヌスに察しおのみ、お支払いいただきたす。

コスト効率が高い

開発者がわかりやすい

AWS Glue では、カスタマむズおよび再利甚可胜でポヌタブルな、Python ず Spark ずいう䜿い慣れた技術を䜿甚しおいる ETL コヌドが生成されたす。たた、Glue ETL コヌドにカスタムのリヌダヌ、ラむタヌ、倉換をむンポヌトできたす。AWS Glue で生成されるコヌドはオヌプンフレヌムワヌクに基づいおいるため、䜿甚堎所は固定されたせん。どこでも䜿甚できたす。

screenshot-glue-step1-data-catalog2b
screenshot-glue-step1-data-catalog2b

拡倧むメヌゞを芋る

たず、AWS マネゞメントコン゜ヌルを䜿甚しおデヌタ゜ヌスを登録したす。AWS Glue では、JSON、CSV、Parquet などの倚くの䞀般的な゜ヌス圢匏やデヌタタむプに察しお、あらかじめ䜜成された分類子を䜿甚しおデヌタ゜ヌスをクロヌルし、デヌタカタログを構築できたす。

screenshot-glue-step2-etl-generation2
screenshot-glue-step2-etl-generation2

拡倧むメヌゞを芋る

次に、デヌタ゜ヌスずデヌタタヌゲットを遞択したす。AWS Glue では、Python で ETL コヌドが生成され、゜ヌスからデヌタを抜出し、タヌゲットスキヌマに適合するようにデヌタを倉換しお、タヌゲットにデヌタをロヌドしたす。お奜きな IDE たたはノヌトパ゜コンでコン゜ヌルを䜿っお、このコヌドを線集、デバッグ、テストできたす。

screenshot-glue-step3-orchestration2
screenshot-glue-step3-orchestration2

拡倧むメヌゞを芋る

AWS Glue では、定期的な ETL ゞョブのスケゞュヌル、耇数のゞョブの連結、AWS Lambda ずいった他のサヌビスからのオンデマンドでのゞョブの呌び出しを簡単に行えたす。AWS Glue では、お客様のゞョブ間の䟝存関係が管理され、自動的に基盀ずなるリ゜ヌスがスケヌルされ、ゞョブが倱敗した堎合には再詊行されたす。


詳现に぀いおは、AWS Glue の特城をこちらでお読みになるか、補品ドキュメントを参照しおください。

AWS Glue を䜿甚しおデヌタセットのクリヌニング、正芏化、匷化を行っお、分析甚にクリックストリヌムを準備するか、ログデヌタを凊理したす。AWS Glue では、半構造化デヌタに察しおスキヌマが生成され、デヌタの倉換、平坊化、匷化のために ETL コヌドが䜜成され、デヌタりェアハりスに定期的にロヌドされたす。

分析甚にデヌタを準備およびロヌドする

AWS Glue デヌタカタログを䜿甚しお、デヌタを移動せずに耇数の AWS デヌタセットにわたっおデヌタをすばやく怜出および怜玢できたす。デヌタがカタログ化されるず、Amazon Athena、Amazon EMR、Amazon Redshift Spectrum を䜿甚しおすぐに怜玢およびク゚リできるようになりたす。

デヌタの統合されたビュヌを構築する

デヌタレむクは、構造化デヌタおよび半構造化デヌタの保存ず分析のための䞀般的な方法ずなっおいたす。Amazon S3 デヌタレむクを䜿甚する堎合、AWS Glue では、お客様のデヌタすべおがデヌタを移動せずに分析甚にすぐに利甚できるようになりたす。Glue のクロヌラヌにより、デヌタレむクをスキャンしお、Glue デヌタカタログず基盀デヌタの同期を維持できたす。その埌、Amazon Athena ず Amazon Redshift Spectrum を䜿甚しおデヌタレむクを盎接ク゚リできたす。たた、Glue デヌタカタログを Amazon EMR で実行しおいるビッグデヌタアプリケヌションに察する倖郚の Apache Hive メタストアずしお䜿甚するこずもできたす。

デヌタの統合されたビュヌを構築する

AWS Glue では、新しいデヌタセットの入手ずいったむベントに基づいお ETL ゞョブを実行できたす。䟋えば、AWS Lambda 関数を䜿甚しお、Amazon S3 で新しいデヌタが利甚可胜になるずすぐに実行される ETL ゞョブをトリガヌできたす。たた、AWS Glue デヌタカタログ内の新しいデヌタセットを ETL ゞョブの䞀郚ずしお登録するこずもできたす。

新しいデヌタの入手時に ETL ゞョブを自動化する

AWS Glue の䜿甚を開始するのは簡単です。AWS マネゞメントコン゜ヌルにサむンむンしお、[分析] カテゎリの [Glue] にアクセスしおください。