Compréhension de base de la charge complète et de la charge incrémentielle dans ETL (PARTIE 1)

Pleine charge:

Le chargement complet dans ETL est charger TOUTES les données de la source à la destination. Une table cible est tronquée avant de tout charger depuis la source. C’est pourquoi cette technique est également connue sous le nom de charge destructrice.

En pleine charge, nous tronquons d’abord la table de destination, puis nous chargeons toutes les données de la source à la destination. C’est la méthode la plus simple pour charger les données de la source à la destination.

Charge incrémentielle :

Supposons que si le fichier est très volumineux, par exemple, il y a 200 à 500 millions d’enregistrements à charger, il n’est donc pas possible de charger une grande quantité de données en très peu de temps car nous avons parfois une très courte durée, nous pouvons donc simplement mettre à jour les données pendant la nuit et la nuit, il y a des horaires très limités, et le fichier est très volumineux, il n’est pas possible de tout recharger.

Dans ces scénarios où les enregistrements mis à jour réels sont très inférieurs mais où l’ensemble des données est très volumineux, nous optons pour la charge incrémentielle, ou vous pouvez dire la charge différentielle.

Dans la charge incrémentielle, nous déterminons combien sont les fois qui peuvent être mis à jour dans la table de destination et combien d’enregistrements sont la fois dans le fichier source ou la table source qui peuvent être insérés dans la table de destination, nous mettons simplement à jour ou insérons dans le table de destination, donc c’est appelée charge incrémentale ou différentielle.

La technique de chargement incrémentiel ETL est une méthode de chargement fractionnaire. Cela réduit la quantité de données que vous ajoutez ou modifiez et qui peuvent devoir être rectifiées en cas d’irrégularité. Étant donné que moins de données sont examinées, il faut également moins de temps pour valider les données et examiner les modifications.

Maintenant que vous comprenez tous le chargement complet et le chargement incrémentiel dans ETL, comprenons avec l’intégration du serveur SQL (SSIS).

Intégration du serveur SQL (SSIS):

SQL Server Integration Services est un composant du logiciel de base de données Microsoft SQL Server qui peut être utilisé pour effectuer un large éventail de tâches de migration de données. SSIS est une plate-forme d’intégration de données et d’applications de flux de travail. Il comporte un outil d’entreposage de données utilisé pour l’extraction, la transformation et le chargement des données.

Étape 1: PLEINE CHARGE

Tout d’abord, nous créons un package pour le chargement complet et comprenons comment le chargement complet fonctionne dans SSIS.

En utilisant la tâche d’exécution SQL, nous pouvons tronquer la table. Dans la commande SQL, nous écrivons la requête pour cela.

Étape 2: ensuite, nous utilisons la tâche de flux de données pour notre processus ETL.

Dans la tâche de flux de données, nous avons utilisé une source de fichier plat et une destination OLE DB.

Ensuite, nous configurons notre source et parcourons le fichier source à partir de l’emplacement.

Général – utilisé pour récupérer le fichier à partir de l’emplacement.

Colonnes – nous pouvons vérifier nos ensembles de données.

Avancé – nous pouvons vérifier le type de données de chaque colonne et les mettre à jour également.

Étape 3: Maintenant, nous configurons notre connexion de destination en sélectionnant le nom de serveur, le nom de base de données et le nom de table appropriés.

À l’aide de l’onglet de mappage, nous pouvons vérifier le mappage de la colonne entre la source et la destination.

Étape 4: Maintenant, nous créons une table dans notre base de données.

Lorsque nous exécutons le package, il tronque d’abord la table de destination et charge toutes les données dans la table de destination.

Ainsi, le chargement complet est un moyen simple de charger des données complètes, permet de vous connecter dans le prochain blog avec un exemple de chargement incrémentiel dans SSIS.

Veuillez partager vos réflexions et suggestions dans l’espace ci-dessous, et je ferai de mon mieux pour y répondre dans la mesure du temps disponible.

pour plus de blogs de ce type cliquez ici

Bonne lecture!