Un guide complet sur l’extraction de métadonnées IDMC au format tableau / Blogs / Perficient

Extraction de métadonnées : IDMC contre PowerCenter

Lorsque nous parlons d’extraction de métadonnées, IDMC (Intelligent Data Management Cloud) peut être plus délicat que PowerCenter. Voyons pourquoi.
Dans PowerCenter, toutes les métadonnées sont stockées dans une base de données locale. Cette configuration nous permet d’utiliser des requêtes SQL pour obtenir des données rapidement et facilement. C’est simple et efficace.
En revanche, IDMC s’appuie sur le référentiel cloud IICS pour le stockage des métadonnées. Cela signifie que nous devons utiliser des API pour obtenir les données dont nous avons besoin. Même si cette méthode fonctionne bien, elle peut être plus compliquée. Les données reviennent au format JSON. JSON est flexible, mais il peut être difficile à lire au premier coup d’œil.
Pour faciliter la compréhension, nous convertissons les données JSON au format tableau. Nous utilisons un outil appelé jq pour vous aider. jq nous permet de changer les données JSON au format CSV ou tableau. Cela rend les données plus claires et plus faciles à analyser.

Dans cette section, nous explorerons jq. jq est un outil de ligne de commande qui vous aide à travailler facilement avec les données JSON. Il vous permet d’analyser, de filtrer et de modifier JSON de manière simple et claire. Avec jq, vous pouvez accéder rapidement à des parties spécifiques d’un fichier JSON, ce qui facilite le travail avec de grands ensembles de données. Cet outil est particulièrement utile pour les développeurs et les analystes de données qui doivent traiter des données JSON provenant d’API ou d’autres sources, car il simplifie les structures de données complexes dans des formats gérables.

Par exemple, si l’exigence est de rassembler les détails du flux de tâches réussi, cela implique deux processus principaux. Tout d’abord, vous exécuterez les API IICS pour collecter les données nécessaires. Une fois que vous disposez de ces données, l’étape suivante consiste à exécuter une requête jq pour extraire les résultats spécifiques. Explorons deux méthodes en détail.

Extraction des métadonnées via Postman et jq : –

Étape 1 :

Pour commencer, utilisez les API IICS pour extraire les données nécessaires du référentiel cloud. Après avoir récupéré les données avec succès, assurez-vous d’enregistrer le fichier au format JSON, idéal pour la représentation structurée des données.

Étape 2 :
Construisez une requête jq pour extraire les détails spécifiques du fichier JSON. Cela vous permettra de filtrer et de manipuler les données efficacement.

Windows:-
(echo Taskflow_Name,Start_Time,End_Time & jq -r ".[] | [.assetName, .startTime, .endTime] | @csv" C:\Users\christon.rameshjason\Documents\Reference_Documents\POC.json) > C:\Users\christon.rameshjason\Documents\Reference_Documents\Final_results.csv

Linux:-
jq -r '["Taskflow_Name","Start_Time","End_Time"],(.[] | [.assetName, .startTime, .endTime]) | @csv' /opt/informatica/test/POC.json > /opt/informatica/test/Final_results.csv

Étape 3 :
Pour continuer, exécutez la requête jq dans l’invite de commande ou le terminal. Une fois l’exécution réussie, les résultats seront enregistrés au format de fichier CSV, offrant ainsi une manière structurée d’analyser les données.

L’avenir du Big Data

Avec quelques conseils, vous pouvez créer une plateforme de données adaptée aux besoins de votre organisation et tirer le meilleur parti de votre capital de données.

Obtenez le guide

Extraction des métadonnées via l’invite de commande et jq : –

Étape 1 :
Formulez une commande cURL qui utilise les API IICS pour accéder aux métadonnées du référentiel IICS Cloud. Cette commande vous permettra d’accéder aux informations essentielles stockées dans le cloud.

Windows and Linux:-
curl -s -L -X GET -u USER_NAME:PASSWORD "https://<BASE_URL>/active-bpel/services/tf/status?runStatus=Success" -H "Accept: application/json"

Étape 2 :
Développez une requête jq avec cURL pour extraire les détails requis du fichier JSON. Cette requête vous aidera à isoler les points de données spécifiques nécessaires à votre projet.

Windows:
(curl -s -L -X GET -u USER_NAME:PASSWORD "https://<BASE_URL>/active-bpel/services/tf/status?runStatus=Success" -H "Accept: application/json") | (echo Taskflow_Name,Start_Time,End_Time & jq -r ".[] | [.assetName, .startTime, .endTime] | @csv" C:\Users\christon.rameshjason\Documents\Reference_Documents\POC.json) > C:\Users\christon.rameshjason\Documents\Reference_Documents\Final_results.csv

Linux:
curl -s -L -X GET -u USER_NAME:PASSWORD "https://<BASE_URL>/active-bpel/services/tf/status?runStatus=Success" -H "Accept: application/json" | jq -r '["Taskflow_Name","Start_Time","End_Time"],(.[] | [.assetName, .startTime, .endTime]) | @csv' /opt/informatica/test/POC.json > /opt/informatica/test/Final_results.csv

Étape 3 :
Lancez l’invite de commande et exécutez la commande cURL qui inclut la requête jq. Lors de l’exécution de la requête, les résultats seront enregistrés au format CSV, largement utilisé pour le traitement des données et pouvant être facilement importés dans diverses applications à des fins d’analyse.

Conclusion
Pour conclure, les méthodes décrites pour extraire les métadonnées du flux de travail à partir d’IDMC sont conçues pour rationaliser votre flux de travail, en minimisant les tâches manuelles et en maximisant la productivité. En automatisant ces processus, vous pouvez consacrer plus d’énergie à l’analyse stratégique plutôt qu’à la fastidieuse collecte de données. Si vous avez besoin de plus de détails sur les API IDMC ou les requêtes jq, n’hésitez pas à laisser un commentaire ci-dessous !

Liens de référence : –

API REST d’intégration de données IICS – Surveillance de l’état du flux de tâches avec l’API de ressource d’état

Lien de téléchargement jq – Jq_Télécharger