COMMENT METTRE EN ŒUVRE LES SCÉNARIOS DE TEST ETL DE BASE (PARTIE 1)

Dans ce blog, nous verrons quels sont les scénarios de test de base pour les tests ETL. Cependant, avant de passer aux scénarios de test ETL, permettez-moi d’abord de vous dire ce qu’est ETL et comment il fonctionne, ainsi que le processus impliqué.

QU’EST-CE QUE L’ETL ?

ETL signifie Extract-Transform-Load, et c’est un processus de chargement des données du système source vers l’entrepôt de données. Les données sont extraites d’une base de données OLTP, transformées pour correspondre au schéma de l’entrepôt de données et chargées dans la base de données de l’entrepôt de données. De nombreux entrepôts de données intègrent également des données provenant de systèmes non OLTP tels que des fichiers texte, des systèmes hérités et des feuilles de calcul.

Types de chargement de données dans ETL

Il existe deux principaux types de chargement de données disponibles en fonction du processus de chargement.

1. Pleine charge (charge en vrac)

Le processus de chargement des données lorsque nous le faisons la toute première fois. Il peut être appelé charge en vrac ou charge fraîche.

2. Charge incrémentale

Seules les données modifiées seront mises à jour dans la cible suivies d’un chargement complet. Les modifications seront capturées en comparant la date de création ou de modification à la dernière date d’exécution du travail.

Qu’est-ce qu’un test ETL ?

Les tests ETL sont effectués pour s’assurer que les données qui ont été chargées d’une source vers la destination après la transformation de l’entreprise sont exactes. Cela implique également la vérification des données à diverses étapes intermédiaires qui sont utilisées entre la source et la destination.

Processus de test ETL ?

Comme d’autres processus de test, ETL passe également par différentes phases. Les différentes phases du processus de test ETL sont les suivantes.

ODS (magasin de données opérationnelles)- : Ce n’est rien d’autre qu’une base de données qui a intégré des données provenant de différentes sources avec des règles différentes. Il obtient directement les données d’une base de données transactionnelle. Il aura une période limitée de données d’historique, à peine 30 à 90 jours de données.

CYCLE DE VIE/PROCESSUS DE TEST ETL

Comme d’autres processus de test, ETL passe également par différentes phases

Les différentes phases des tests ETL sont les suivantes.

1. Analyse des besoins
2. Planification des tests
3. Conception des tests
4. Exécution des tests
5. Nouveau test de défaut
6. Clôture du test/Sign off

Analyse des besoins

Les principales entrées pour l’équipe de test seraient le modèle de données et la cartographie du document lorsque nous commençons notre analyse elle-même, nous devons nous assurer que la table ou les fichiers source sont corrects.

Planification des tests

Il n’y a pas beaucoup de différence entre les plans de test fonctionnel, à l’exception de quelques éléments ici, nous devons mentionner le flux de données dans les sections portée et hors portée.

Conception des tests

Les cas de test seront préparés avec le document de mappage. Dans cette étape elle-même, nous devons trouver les défauts liés aux exigences en effectuant une analyse des données source et des documents de mappage tels que le type de données, la longueur des données et les relations.

Exécution des tests

Une fois tous les critères d’entrée définis, l’exécution initiale peut être effectuée avec les tâches de chargement en masse et toutes les étapes, de la source à la cible, seront testées une par une.

Nouveau test de défaut

Les défauts corrigés seront reposés et validés en cas de rejet éventuel. Sur la base de l’analyse d’impact, les cas de test doivent être exécutés dans le cadre d’une correction de défaut.

Approuver

Sur la base des critères de sortie de l’exécution des tests, le courrier de signature doit être envoyé aux parties prenantes pour qu’il soit procédé à l’avancement du code au niveau suivant.

SCÉNARIOS DE TEST ETL

Vérification de la structure du tableau

Le nom de la colonne, le type de données et la longueur des données de la table cible seront vérifiés par rapport à l’exigence

Contrôle de contrainte

Nous nous assurons que toutes les contraintes requises sont disponibles

Vérification de l’index

Nous nous assurons que l’index créé avec les colonnes requises

Validation des données sources

Enregistrez le nombre de tables source et assurez-vous qu’il n’y aura pas de sorties de données indésirables ou incorrectes.

Vérification du nombre de données

Comparaison du nombre de données cible avec le nombre de données source avec le filtre principal ou la condition de jointure.

Vérification de la comparaison des données

Nous nous assurons que les données source ont été déplacées correctement vers la table cible en comparant les données

Validation des données en double

injecter des entrées en double dans la table source en fonction d’identifiants uniques et s’assurer que l’enregistrement en double sera rejeté.

Vérification des données avec clé primaire et clé étrangère

Testez la relation entre la clé primaire et la clé étrangère avec différentes données de test pour les tables parent et enfant.

Chèque nul

Injectez les données avec NULL pour une colonne NOT NULL et vérifiez que les données seront rejetées.

Vérification de la précision des données

Créez des données de test dans la table source avec différentes précisions et assurez-vous que les données chargées ont la précision requise.

Vérification du format de date

Toutes les colonnes de date sont chargées dans le format de date défini ou non

Conclusion

Le test ETL est important pour s’assurer de l’exactitude et de l’exhaustivité de la méthode ETL. Cette procédure de test joue un rôle important dans le stockage des informations et aide à garantir l’intégrité des informations pendant que les informations sont extraites, remodelées et chargées dans l’entrepôt d’informations. Cette méthode de test spéciale valide et vérifie les informations pour prévenir la perte d’informations et la duplication des enregistrements. Aujourd’hui, les tests ETL gagnent en importance grâce à la migration amplifiée de grands volumes de connaissances. Les entreprises doivent tirer parti des tests ETL d’un fournisseur indépendant de services d’AQ et de tests de code informatique de nouvelle génération pour une migration transparente des informations à partir de sources complètement différentes.

C’est donc tout sur le scénario de test de base de la partie 1 des tests ETL que nous rencontrerons dans le prochain blog avec la partie 2 du scénario de test ETL

Bon apprentissage.