Charger des données d’Amazon RDS vers Snowflake à l’aide de l’outil Matillion ETL

Amazon Relational Database Service, un service fourni par Amazon Web Services, est un service cloud de base de données SQL entièrement géré qui vous permet de créer et d’exploiter des bases de données relationnelles. Avec Amazon RDS, on peut accéder à tous les fichiers et bases de données n’importe où de manière économique et hautement évolutive.

Snowflake est une plate-forme basée sur le cloud qui aide les professionnels des données à se débarrasser des entrepôts de données, des lacs de données et des magasins de données séparés. De plus, il permet un partage sécurisé des données au sein de l’organisation. Snowflake s’appuie sur l’infrastructure Amazon Web Services, Microsoft Azure et Google Cloud. Cet outil est idéal pour les organisations qui ne souhaitent pas consacrer de ressources à la configuration, à la maintenance et au support des serveurs internes, car Matillion n’a pas besoin de matériel ou de logiciel pour l’installer, le configurer ou le gérer.

Matillion ETL est un outil d’intégration de données basé sur le cloud qui aide les équipes de données à transformer leur entreprise avec des données. Matillion est utilisé pour déplacer les données plus rapidement et en faire plus avec une approche visuelle facile à utiliser. Cet outil fournit une interface low-code pour l’intégration et la transformation des workflows de données. Matillion est un outil rentable permettant aux professionnels des données d’obtenir des résultats plus rapides dans leur environnement cloud.

Dans cet article, nous allons parcourir un cas d’utilisation pour charger des données d’Amazon RDS vers Snowflake à l’aide de l’outil Matillion ETL. Vous trouverez ci-dessous les prérequis pour effectuer ces actions.

Conditions préalables:

1. Un compte Matillion
2. Un compte Snowflake
3. Un compte AWS pour créer une base de données Amazon RDS

Si vous ne possédez pas ces comptes, vous pouvez utiliser les essais gratuits pour effectuer ce cas d’utilisation. Vous pouvez créer un essai gratuit d’un compte AWS pendant 1 an, un essai gratuit pour Snowflake pendant 1 mois et un essai gratuit pour Matillion pendant 14 jours. Vous trouverez ci-dessous les étapes à suivre pour effectuer ce cas d’utilisation de chargement de données d’Amazon RDS vers Snowflake à l’aide de Matillion ETL.

Pas:

1. Après avoir créé un compte AWS, accédez au service de base de données Amazon RDS. Cliquez sur créer une base de données Amazon RDS de type moteur PostgreSQL. Une fois l’instance de base de données créée, vous obtiendrez le point de terminaison et le port qui nous aideront à connecter le serveur RDS et à créer des bases de données à l’intérieur.

1. Une fois le moteur PostgreSQL créé, nous pouvons utiliser le point de terminaison RDS pour nous connecter à l’instance RDS à l’aide de pgAdmin, pgAdmin est un outil graphique basé sur le Web utilisé pour interagir avec les instances de base de données Postgres, à la fois les serveurs locaux et distants. À l’aide de cet outil graphique, nous y créerons notre base de données.

1. L’étape suivante consiste à créer une base de données dans Snowflake, où nous allons charger notre base de données source à partir d’Amazon RDS. Une fois le compte snowflake créé, nous pouvons voir l’icône de la base de données à droite du logo Snowflake, ici nous pouvons créer une base de données en cliquant sur créer.

1. Ensuite, nous allons créer un compte Matillion. Les instances Matillion peuvent être créées sur Azure ou AWS, dans ce cas d’utilisation, l’instance Matillion sera créée sur AWS. Accédez à l’instance Matillion et créez un projet.

1. Créez un dossier (Mohini-wm), ajoutez une tâche d’orchestration (test1). Ensuite, à partir du composant, ajoutez le composant « Créer une table ». Nous utiliserons le composant « Créer une table » pour créer une table dans Snowflake. Nous avons spécifié le nom ‘Database’ qui a déjà été créé dans Snowflake. Le ‘Schéma’, le ‘Nouveau nom de table’ et les noms de colonne spécifiés devront être créés dans Snowflake.

1. Nous utiliserons ensuite le composant ‘RDS Query’. Ce composant nous aidera à nous connecter au service Amazon RDS. Spécifiez les paramètres comme indiqué ci-dessous pour le type de base de données, le point de terminaison RDS, etc.

1. Faites un clic droit sur le canevas et exécutez le travail. Dans la section de droite, nous pouvons voir l’état du travail, et dans la partie de gauche, nous pouvons prévisualiser les données.

1. Dans Snowflake, nous pouvons voir que la nouvelle table est créée et que les données du serveur Amazon RDS sont chargées sur le flocon de neige à l’aide de Matillion. Pour un aperçu des données, nous devrons exécuter la requête SELECT.

À ce stade, vous avez chargé avec succès les données de la base de données Amazon RDS et dans Snowflake à l’aide de l’outil Matillion ETL.

Comment Perficient peut-il vous aider?

Perficient est un partenaire certifié d’Amazon Web Services avec plus de 10 ans d’expérience dans la fourniture d’applications et d’expertise au niveau de l’entreprise dans les solutions de plate-forme cloud, le centre de contact, la modernisation des applications, les migrations, l’analyse de données, les outils mobiles, de développement et de gestion, l’IoT, le sans serveur, la sécurité. , et plus. Associé à notre stratégie et à notre équipe de pointe, Perficient est équipé pour aider les entreprises à relever les défis les plus difficiles et à tirer le meilleur parti de leurs implémentations et intégrations.

Apprenez-en plus sur notre pratique AWS et contactez notre équipe ici !