Fermer

avril 8, 2022

SCD Type 1 utilisant le composant tAddCRCRow


Lorsque nous abordons un scénario lié à la base de données, couramment utiliséCDS les types. Même si Talend a un composant intégré, nous préférons généralement ne pas utiliser la fonctionnalité tDBSCD pour améliorer les performances. La manière courante d'implémenter SCD consiste à normaliser une conception de travail au lieu d'utiliser un seul composant. Indépendamment de la technologie, les gens recherchent une approche sans effort ou une méthodologie simple pour mettre en œuvre n'importe quel modèle/travail. Mettons en œuvre la conception indolore en quelques minutes.

Présentation d'un composanttAjouterCRCRow pour obtenir une clé de hachage qui aide à suivre les données pour identifier les changements. Ce composant a une colonne intégrée (CRC) qui créera une clé de hachage basée sur les colonnes non clés sélectionnées.

B1

Prenons un exemple pour mieux comprendre, considérons la source du domaine bancaire comme fichier csv et la cible comme table. Ici, nous allons gérer l'upsert en divisant le flux de données en fonction de la recherche cible.

JConception

Data Intelligence - L'avenir du Big Data
L'avenir des mégadonnées

Avec quelques conseils, vous pouvez créer une plate-forme de données adaptée aux besoins de votre organisation et tirer le meilleur parti de votre capital de données.

Obtenir le guide

B2" width="462" height="282" srcset="https://i0.wp.com/blogs.perficient.com/files/B2.png?resize=300%2C183&ssl=1 300w, https:// i0.wp.com/blogs.perficient.com/files/B2.png?resize=768%2C469&ssl=1 768w, https://i0.wp.com/blogs.perficient.com/files/B2.png?resize =750%2C458&ssl=1 750w, https://i0.wp.com/blogs.perficient.com/files/B2.png?resize=600%2C367&ssl=1 600w, https://i0.wp.com/blogs .perficient.com/files/B2.png?resize=640%2C391&ssl=1 640w, https://i0.wp.com/blogs.perficient.com/files/B2.png?resize=500%2C305&ssl=1 500w , https://i0.wp.com/blogs.perficient.com/files/B2.png?w=784&ssl=1 784w" sizes="(max-width : 462px) 100vw, 462px" data-recalc-dims= "1"/></p><p> Nous pouvons placer le composant CRC avant de comparer les données source et cible pour générer la clé de hachage.  Dans ce composant, cochez la case (Utiliser dans le CRC) des colonnes non clés qui crée la valeur de hachage dans la colonne CRC pour chaque enregistrement provenant de la source.</p><p><img decoding=

B4" width="583" height="167" srcset="https://i0.wp.com/blogs.perficient.com/files/B4.png?resize=300%2C86&ssl=1 300w, https:// i0.wp.com/blogs.perficient.com/files/B4.png?resize=768%2C220&ssl=1 768w, https://i0.wp.com/blogs.perficient.com/files/B4.png?resize =750%2C215&ssl=1 750w, https://i0.wp.com/blogs.perficient.com/files/B4.png?resize=600%2C172&ssl=1 600w, https://i0.wp.com/blogs .perficient.com/files/B4.png?resize=640%2C183&ssl=1 640w, https://i0.wp.com/blogs.perficient.com/files/B4.png?resize=500%2C143&ssl=1 500w , https://i0.wp.com/blogs.perficient.com/files/B4.png?resize=800%2C229&ssl=1 800w, https://i0.wp.com/blogs.perficient.com/files/ B4.png?w=936&ssl=1 936w" tailles="(largeur max : 583px) 100vw, 583px" data-recalc-dims="1"/></p><p> Un autre flux consiste à mettre à jour les enregistrements correspondants et à filtrer les enregistrements modifiés en comparant les colonnes CRC.  Ce filtre permet d'éviter la mise à jour indésirable des enregistrements non modifiés dans ce flux.  Les modifications sont mises à jour dans la table cible avec la nouvelle valeur de hachage.</p><p><img decoding=

A propos de l'auteur

Rajeshwari Ramamoorthy est consultant technique senior chez Perficient. Elle est experte de l'outil Talend ETL.

Plus de cet auteur






Source link

Revenir vers le haut