Gestion des exceptions dans IDQ: – Blogs parfaits

Énoncé du problème:

Un service bancaire charge les données de différentes sources de données dans la table d'adresses client, lors de l'établissement des contrôles de qualité des données, il y a des enregistrements incorrects et des enregistrements en double dans les tables.

La banque veut une liste de clients dans Chicago, Illinois ci-dessous le tableau donné montre l'exemple des mauvais enregistrements et des doublons dans le tableau

Solution:

Comme solution au problème Énoncé du problème ci-dessus Gestion des exceptions dans Informatica Le contrôle de la qualité des données peut être utilisé pour corriger les mauvais enregistrements et pour supprimer les enregistrements en double dans les tables.

Flux de processus pour la gestion des exceptions:

Détails:

Les enregistrements d'exception dans une table ont généralement un score de correspondance ne dépassant pas le seuil défini à l'étape d'exception pour être regroupés en un seul enregistrement, ou inférieur au valeur seuil à co Considéré comme un enregistrement unique, il se situe entre les seuils inférieur et supérieur et nécessite donc une analyse humaine pour en faire des enregistrements corrects et consolidés.

Les enregistrements d'exception sont analysés par les gestionnaires de données, les réviseurs / gestionnaires, les modifications sont apportées puis chargées dans la table cible comme étant bonnes.

Pour cela, un flux de travail avec une tâche humaine est créé où -> Les enregistrements incorrects indiquent qu'il est dans l'état et nul dans la ville sont corrigés alors-> Les enregistrements dupliqués sont convertis en enregistrements consolidés.

Dans la gestion des exceptions, les enregistrements d'exceptions des mappages sont transférés vers les gestionnaires de données pour qu'ils apportent des modifications, puis vers le réviseur pour approbation des modifications.

Pour corriger les mauvais enregistrements:

La gestion des exceptions pour les mauvais enregistrements améliore la précision des données,

Les mauvais enregistrements sont transmis comme exceptions au gestionnaire des données et ils y apportent des modifications, par exemple dans cet état n'est pas prévu pour mat here DS les corrige manuellement et les enregistrements corrigés sont transférés vers le réviseur pour approbation.

Ceci est implémenté par

Création d'un flux de travail qui contient un mappage pour identifier les enregistrements d'exception suivi de-> tâche manuelle où les enregistrements d'exception sont envoyés à Data Steward et au réviseur pour les modifications (les enregistrements fixes sont enregistrés dans la table des exceptions) suivis par -> un mappage qui pointe vers la table des exceptions et déplace les enregistrements vers la table cible si le statut de l'enregistrement est approuvé comme indiqué sur l'image ci-dessous,

Pour supprimer les doublons:

Les enregistrements en double sont consolidés dans un enregistrement maître dans le processus de gestion des exceptions.

Ici, les enregistrements dupliqués sont formés en tant que cluster par la transformation de correspondance basée sur le score de correspondance et le flux de travail consiste en une étape de cluster suivie d'une tâche humaine.

Groupe de cluster de doublons r ecords formés en fonction du score de correspondance.

Ces clusters sont notifiés à Data Steward et ils ouvrent le cluster et choisissent les valeurs de colonne à ajouter à l'enregistrement principal à partir du groupe d'enregistrements en double comme indiqué dans les images ci-dessous,

[19659003]

Dans l'exemple, le nom du client contient des erreurs c.-à-d. Au lieu du nom de famille, le prénom certains enregistre son prénom, le nom qui conduit à des enregistrements en double également quelques enregistrements avec un emplacement différent pour la personne que Data Steward regarde dans le jeu d'enregistrements en double dans le cluster et choisit les valeurs appropriées à ajouter pour l'enregistrement principal. Et cet enregistrement principal est chargé dans la table cible à cible avec les valeurs appropriées, comme indiqué dans l'image ci-dessous,

L'image ci-dessous montre les enregistrements d'exception et le Les fiches maîtresses dérivées après le processus de gestion des exceptions.

À propos de l'auteur

Kiruthiga est consultant technique et développeur IDQ à Perficient Chennai.

Plus de cet auteur