Directives de réglage des performances – Informatica Powercenter / Blogs / Perficient

Très souvent, lors de la construction du pipeline d’intégration de données, les performances sont un facteur critique. Les facteurs ci-dessous sont essentiels pour suivre les directives tout en travaillant sur le traitement ETL avec Informatica PowerCenter.

Les éléments suivants doivent être pris en compte pendant ETL DEV.,

• Vérifications/analyse des pré-requis
• Directives de réglage de base
• Pratiques de réglage supplémentaires

Approche de réglage

Vérifications/analyses préalables :

Avant de soumettre un mappage ETL à des améliorations de performances, voici les étapes à suivre.,

• Plongez dans la cartographie pour recueillir des informations de base.
  • Complexité du mappage (nombre de SRC/TGT, transformations, logique technique)
  • Conception de la cartographie (flux de bout en bout, pipelines simples/multiples)
  • Si les meilleures pratiques ont été suivies

• Vérifier les mesures telles quelles du mappage
  • Volume de données (SRC/TGT)
  • Durée de l’achèvement du travail
  • Débit
  • Pourcentage occupé des fils (lecteur/écrivain/transformation)
  • Recueillir des statistiques de performances

• Assurez-vous que le serveur/système ETL n’est pas la raison de la lenteur du traitement
  • Existe-t-il des problèmes fréquents de connectivité réseau ?
  • Le système/serveur ETL a-t-il les capacités matérielles requises ?
  • La base de données de métadonnées ETL dispose-t-elle d’un espace suffisant ?
  • Si le système a accumulé des fichiers journaux/cache bloquant l’espace du serveur ?
  • DBs lents avec READ/WRITE ?

Après s’être assuré que les conditions préalables ci-dessus sont prises en compte et que les goulots d’étranglement sont identifiés, si le DEV ETL est identifié comme la cause première de la lenteur, les pratiques de réglage peuvent être appliquées sur les mappages si nous prévoyons une amélioration significative pour respecter les SLA/autres avantages commerciaux.

Directives de réglage de base

Les directives de base sont énumérées ci-dessous.,

• Perspective de conception
  • Apportez les champs pertinents/obligatoires lors des transformations ultérieures
  • Effectuer des extractions incrémentielles pour limiter le traitement
  • Utiliser les pilotes Informatica CDC pour traiter uniquement les données modifiées
  • Filtrer les données dès le début des pipelines
  • Limitez les données via les équi-jointures (JNR) avant les jointures à gauche (JNR) sur les grandes tables

• Perspective BD
  • Construire des index (tables à volume élevé sur des jointures/prédicats fréquemment utilisés)
  • Créer des partitions de base de données (pour les grandes tables de faits)
  • Recueillir des STATISTIQUES
  • La base de données effectue un traitement plus rapide (logique de transformation complexe) que l’ETL

• Perspective de délégation
  • Utilisez PDO si DB Server a des capacités informatiques appréciables
  • Si le serveur de base de données a une charge de travail élevée, poussez la logique des fonctions vers les transformations Informatica
  • Si la base de données rencontre des difficultés avec les agrégations/le tri, utilisez les transformations Informatica

• Point de vue de l’espace
  • Avoir une période de rétention pour les fichiers journaux/cache
  • Augmenter la taille du cache SRT/AGG/JNR et la taille du tampon DTM

• Transformations/Perspective de charge
  • Données d’entrée triées avant les transformations LKP/AGG/JNR
  • JNR avec source principale ayant moins d’enregistrements/valeurs distinctes
  • Envisagez le chargement en masse/les chargeurs externes pour le vidage des données (après avoir supprimé l’index)
  • Utiliser le cache persistant LKP pour les exigences de réutilisation
  • La cohérence des types de données permet à ETL de fonctionner avec SRT/AGG/JNR
  • Optimisez les LKP en ne recherchant que les données pertinentes (filtres de remplacement) au lieu de la table entière
  • Éviter le tri prioritaire LKP pour les petites tables
  • Utiliser la transformation de la stratégie UPD (uniquement si nécessaire), peut aller pour les mises à jour au niveau de la session
  • Si LKP sur la table à volume élevé provoque un problème de performances, envisagez la transformation JNR

Addl. Pratiques de réglage

Des pratiques de réglage supplémentaires sont répertoriées ci-dessous.,

• Utilisez les partitions Informatica (Pass Through/Key Range/Hash Key, etc.) si le volume de données est élevé
• N’utilisez pas SRC et TGT comme table de base de données identique. Faites un SRC – Fichier TGT. Puis FILE – DB TGT
• N’effectuez pas toutes les opérations ETL dans 1 mappage. Diviser ETL fonctionne avec une série de mappages
• Utilisez le paramètre Concurrent Workflow Exec pour activer les chargements parallèles avec différents paramètres
• Traiter ETL en plusieurs lots (ex. 2 fois par jour) pour libérer la charge de poste de table
• Si la logique ETL complexe provoque des lenteurs, utilisez FILE comme TGT. Puis chargement 1:1 à partir de la base de données FILE-TGT
• Surveillez l’espace de stockage (journaux), utilisez ETL Automation pour effacer les fichiers par fréquence (Mly/Qly)

Conclusion

À un niveau élevé, voici les inférences.,

• Le réglage n’a pas besoin d’être effectué sur chaque mappage ETL. Seuls les travaux ETL qui posent problème pour respecter les SLA d’extraction de données/chargements peuvent être considérés comme des candidats potentiels pour des investigations et des ajustements plus poussés.
• L’optimisation de DB Query joue également un rôle crucial avec les substitutions SQL lorsqu’elles sont utilisées.
• Déléguez la charge entre les serveurs DB et ETL.
• Optimisez la conception ETL en suivant les meilleures pratiques.
• Surveillez l’espace de stockage et les capacités informatiques.
• Envisagez de déployer des nœuds Informatica sur un GRID pour la haute disponibilité et l’équilibrage de charge.