AWS Glue est un service ETL entièrement géré, qui facilite le déplacement des données entre vos magasins de données. AWS Glue simplifie et automatise les tâches difficiles et fastidieuses de découverte, de conversion, de mappage et de planification des tâches. AWS Glue vous guide dans le processus de déplacement de vos données grâce à une console facile à utiliser qui vous aide à comprendre vos sources de données, à préparer les données pour l'analyse et à les charger de façon fiable depuis les sources de données vers les destinations.
AWS Glue est intégré avecAmazon S3,Amazon RDS et Amazon Redshift, et peut se connecter à n'importe quel magasin de données compatible avec JDBC. AWS Glue analyse automatiquement vos sources de données, identifie les formats de données, puis propose des schémas et des transformations, de sorte que vous n'avez pas à passer du temps sur le codage manuel des flux de données. Vous pouvez ensuite modifier ces transformations, si nécessaire, en utilisant les outils et technologies que vous connaissez déjà, tels que Python, Spark, Git et votre environnement de développement intégré (IDE) préféré, et les partager avec d'autres utilisateurs d'AWS Glue. AWS Glue planifie vos travaux et provisions ETL et calcule toutes les infrastructures nécessaires pour que vos travaux ETL fonctionnent rapidement et efficacement à n'importe quelle échelle. Il n'y a pas de serveurs à gérer et vous ne payez que pour les ressources consommées par vos travaux ETL.
Pour obtenir les dernières informations sur la disponibilité du service, inscrivez-vous ici et nous vous tiendrons au courant par e-mail.
Étape 1. Créer votre catalogue de données
Tout d'abord, vous utilisez AWS Management Console pour enregistrer vos sources de données avec AWS Glue. AWS Glue analyse vos sources de données et élabore un catalogue de données à l'aide de classificateurs préconfigurés pour de nombreux formats et types de données populaires, notamment JSON, CSV, Parquet et plus encore. Vous pouvez également ajouter vos propres classificateurs ou choisir des classificateurs de la communauté AWS Glue pour les ajouter à vos analyses.
Cliquez pour agrandir l'image
Étape 2. Générer et modifier des transformations
Ensuite, sélectionnez une source de données et une cible et AWS Glue générera le code Python pour extraire les données de la source, transformer les données en fonction du schéma cible et les charger dans la cible. Le code généré automatiquement gère les cas d'erreur courants, tels que les mauvaises données ou les défaillances matérielles. Vous pouvez modifier ce code en utilisant votre IDE préféré et le tester avec vos propres données d'échantillon. Vous pouvez également parcourir le code partagé par d'autres utilisateurs d'AWS Glue et l'utiliser dans vos travaux.
Cliquez pour agrandir l'image
Étape 3. Planifier et exécuter vos travaux
Enfin, vous pouvez utiliser le planificateur flexible d'AWS Glue pour exécuter vos flux de façon récurrente, en réponse à des déclencheurs ou même en réponse aux événements AWS Lambda. AWS Glue distribue automatiquement vos travaux ETL sur les nœuds Apache Spark, de sorte que vos temps d'exécution ETL restent cohérents à mesure que le volume de données augmente. AWS Glue coordonne l'exécution de vos travaux dans le bon ordre et réessaie automatiquement d'effectuer les travaux en échec. AWS Glue réduit de façon élastique l'infrastructure requise pour terminer vos travaux à temps et réduire les coûts.
Cliquez pour agrandir l'image
Terminé.
Et voilà ! Une fois les travaux ETL en production, AWS Glue vous aide à suivre les modifications apportées aux métadonnées, telles que les définitions de schéma et les formats de données, afin que vous puissiez garder vos travaux ETL à jour.
Pour obtenir les dernières informations sur la disponibilité des services, inscrivez-vous ici et nous vous tiendrons au courant par e-mail.
