Optimisation de la migration et du rapprochement des données pour un cabinet comptable de premier plan : une réussite avec les solutions AWS

Introduction

Le maintien de la cohérence et de l’intégrité des données entre les systèmes est crucial pour toute organisation. Dans le monde actuel axé sur les données, les divergences entre les sources de données peuvent conduire à des analyses inexactes, à de mauvaises prises de décision et à des inefficacités opérationnelles. Ces problèmes peuvent en outre entraîner des pertes financières, une diminution de la confiance des clients et des risques de non-conformité. Alors que les organisations s’appuient de plus en plus sur de grandes quantités de données pour piloter leurs initiatives stratégiques, il devient primordial de garantir que ces données restent cohérentes, précises et fiables sur les différentes plateformes et environnements. Des processus efficaces de rapprochement et de migration des données protègent non seulement l’intégrité des informations commerciales critiques, mais améliorent également l’efficacité globale des flux de travail de données. En mettant en œuvre des stratégies robustes de gestion des données et en tirant parti d’outils et de technologies avancés, les organisations peuvent minimiser les erreurs, rationaliser leurs opérations et prendre des décisions plus éclairées, favorisant ainsi la croissance et le succès de leur entreprise.

Énoncé du problème

Dans l’un de nos projets clients, nous avons été confrontés à des défis importants en matière de réconciliation des données :

• L’exécution de processus de réconciliation directement sur MongoDB a entraîné une réduction de l’efficacité de nos serveurs MongoDB.
• Le flux de rapprochement n’était pas automatisé, ce qui entraînait une augmentation des efforts manuels et des retards.

Pour résoudre ces problèmes, nous avions besoin d’une solution qui déchargerait le processus de réconciliation de MongoDB et automatiserait le flux de travail des données.

Objectif

L’objectif de ce blog est de partager notre expérience et notre méthodologie pour relever les défis de la réconciliation des données et de la migration de MongoDB vers une plateforme analytique. Notre objectif est de démontrer comment l’exploitation de divers services AWS peut gérer ces processus de manière efficace et efficiente. Les aspects clés comprennent :

• Tirer parti des services AWS: Utilisation d’AWS Database Migration Service (AWS DMS), AWS Glue, Amazon EMR, Amazon EKS et Apache Airflow.
• Gestion efficace des données: Gérer efficacement les processus d’extraction, de transformation et de réconciliation des données.
• Minimiser l’impact: Réduire la charge sur le serveur MongoDB pour maintenir ses performances.
• Améliorer l’intégrité des données: Améliorer la cohérence et l’intégrité des données entre les systèmes.
• Automatisation des flux de travail: Automatisation des flux de données pour améliorer l’efficacité opérationnelle.

Cette approche améliore non seulement la cohérence et l’intégrité des données, mais automatise également les flux de travail pour améliorer l’efficacité opérationnelle globale.

Approche de solution

Pour surmonter ces défis, nous avons mis en œuvre une solution utilisant une combinaison de services AWS et Apache Airflow. Voici un aperçu étape par étape de notre approche :

Étape 1 : Extraire des données de MongoDB avec AWS DMS

Pour minimiser la charge sur MongoDB, nous avons utilisé AWS DMS pour extraire les données. DMS lit l’oplog de MongoDB (journal des opérations), capturant toutes les modifications en temps réel :

• Charge réduite sur le serveur MongoDB : En tirant parti de l’oplog, les opérations de la base de données principale ne sont pas affectées lors de l’extraction des données.
• Capture de données en temps réel : Les modifications sont capturées en temps réel, garantissant que le processus de migration reflète les dernières mises à jour des données.

Étape 2 : Stockage des données au format Parquet sur S3

Chaque fois que les utilisateurs modifient des données (insertion, mise à jour, suppression), la tâche Change Data Capture (CDC) d’AWS DMS capture ces modifications et les stocke dans Amazon S3 au format Parquet :

• Compression et encodage efficaces des données : Le stockage en colonnes de Parquet optimise la compression et l’encodage des données, améliorant ainsi les performances des requêtes.
• Capture de données transparente : La tâche CDC garantit la capture et le stockage immédiats de toute modification des données.

Étape 3 : Déclenchement des tâches AWS Glue avec Apache Airflow

Apache Airflow a joué un rôle central dans l’automatisation de notre flux de travail ETL (Extract, Transform, Load). Lors de la détection de nouveaux fichiers Parquet dans S3, un DAG (Directed Acyclic Graph) Airflow a déclenché une tâche AWS Glue :

• Flux de travail automatisé : Le DAG d’Airflow a surveillé le compartiment S3 à la recherche de nouveaux fichiers de données et a déclenché de manière transparente la tâche Glue correspondante.
• Transformation opportune : Cette automatisation garantissait l’exécution rapide des transformations à mesure que de nouvelles données devenaient disponibles, préservant ainsi la fraîcheur des données.

Étape 4 : Transformation des données avec AWS Glue

Une fois les données stockées en toute sécurité dans S3, l’étape suivante consistait à les transformer à l’aide d’AWS Glue, un service ETL entièrement géré conçu pour préparer et transformer les données à des fins d’analyse :

• Définir le travail de collage : Nous avons défini une tâche AWS Glue spécialisée pour lire les fichiers Parquet à partir de S3. Ce travail a exécuté les transformations nécessaires, en tirant parti de l’infrastructure évolutive de Glue et des performances optimisées pour les tâches de traitement des données.
• Optimisez le stockage avec le format Iceberg : Dans le cadre du processus de transformation, les données ont été structurées et optimisées au format Iceberg avant d’être réécrites dans S3. Iceberg est un format de tableau adapté aux ensembles de données analytiques à grande échelle, offrant une gestion efficace du stockage, des performances de requête améliorées et de solides capacités de versionnage des données.

Étape 5 : Validation des données avec EMR et exécution du rapprochement

La validation des données transformées a été réalisée à l’aide d’Amazon EMR, une plate-forme Big Data basée sur le cloud et gérée via Amazon EKS (Elastic Kubernetes Service) :

• Déployez le service EMR sur EKS : Nous avons déployé un service sur EKS pour gérer les clusters EMR et installé les packages nécessaires à la validation des données.
• Scripts de validation : À l’aide d’Apache Spark sur EMR, nous avons exécuté des scripts de validation pour garantir l’exactitude et la cohérence des données transformées par rapport aux données sources dans MongoDB.
• Processus de réconciliation : Cette étape impliquait de comparer les ensembles de données pour identifier et résoudre toute divergence, garantissant ainsi l’intégrité des données sur toutes les plateformes.

Avantages de cette approche

• Cohérence des données améliorée : L’utilisation d’AWS DMS pour la capture de données en temps réel et de Glue pour une transformation efficace a permis de garantir la cohérence des données entre les systèmes.
• Évolutivité et flexibilité : Les services AWS tels que Glue, EMR et EKS ont fourni une solution évolutive pour gérer de grands ensembles de données et des flux de travail analytiques complexes.
• Automatisation et efficacité : Apache Airflow a automatisé la gestion des flux de travail, réduisant les interventions manuelles et garantissant un traitement des données en temps opportun.
• Optimisation des coûts : En tirant parti des services sans serveur et gérés, le projet a optimisé les coûts associés à la maintenance et aux opérations de l’infrastructure.

Conclusion

Ce projet a démontré l’efficacité de l’intégration des services AWS et d’Apache Airflow pour une migration, une transformation et une réconciliation transparentes des données. En tirant parti d’AWS DMS pour l’extraction initiale des données, en stockant les données dans des formats optimisés sur S3, en automatisant les transformations avec AWS Glue et en validant avec Amazon EMR sur EKS, nous avons garanti une intégrité et une cohérence robustes des données tout en minimisant les frais opérationnels sur MongoDB. Cette approche globale a non seulement rationalisé nos processus de données, mais a également considérablement amélioré la fiabilité et l’efficacité de nos opérations de gestion des données.

Dernières pensées

La réconciliation des données est un processus continu et crucial pour les organisations qui gèrent de gros volumes de données sur diverses plateformes. La suite d’outils d’AWS, combinée à Apache Airflow, offre des solutions évolutives et efficaces pour maintenir la cohérence et la fiabilité des données. Voici un résumé des étapes clés et de leurs avantages :

• Extraction de données avec AWS DMS: Extrayez en toute transparence les données de MongoDB vers AWS.
• Stockage des données au format Parquet sur S3: optimisez le stockage des données pour plus de rentabilité et de performances.
• Automatisation du flux de travail ETL avec Apache Airflow: Rationalisez et automatisez les flux de travail de données pour réduire les interventions manuelles.
• Transformation des données avec AWS Glue et Iceberg Format: Assurer des processus de transformation de données efficaces et flexibles.
• Validation et rapprochement des données avec EMR sur EKS: Garantir l’intégrité et la cohérence des données sur toutes les plateformes.

En suivant cette approche, les organisations peuvent rationaliser leurs opérations de données, améliorer leurs capacités analytiques et garantir que les données restent exactes et exploitables sur divers systèmes et plates-formes. Cette méthodologie améliore non seulement l’efficacité opérationnelle, mais maximise également la valeur dérivée des actifs de données.

VOUS TROUVEZ CECI UTILE ? PARTAGEZ-LE