Cadre d’ingestion de données sans code utilisant NiFi

Ingestion de données :

L’ingestion de données est le transport de données provenant de sources variées vers un support de stockage où elles peuvent être consultées, utilisées et analysées par une organisation. La destination est généralement un entrepôt de données, un magasin de données, une base de données ou un magasin de documents. toute architecture d’ingénierie de données.

Qu’est-ce qu’Apache Nifi ?

Apache NiFi est l’un des outils clés dans le domaine de l’ingénierie des données et du Big Data. Il est principalement utilisé pour l’ingestion et l’orchestration de données. Il s’agit d’une plate-forme d’ingestion de données en temps réel, qui peut transférer et gérer le transfert de données entre différentes sources et systèmes de destination. Cela prend en charge une grande variété de sources de données et de protocoles, ce qui rend cette plate-forme populaire dans de nombreuses organisations informatiques.

Que sont les NiFi Rest Api ?

L’une des principales caractéristiques de NiFi est son API REST, qui permet aux développeurs d’interagir avec la plate-forme par programmation. L’API fournit une gamme de points de terminaison qui peuvent être utilisés pour gérer la configuration, les flux de données et la surveillance de NiFi. L’un des principaux avantages de l’API REST est sa capacité à automatiser les tâches courantes, telles que la création de flux de données, le démarrage et l’arrêt des processeurs et la récupération des métriques de flux de données. Les développeurs peuvent utiliser l’API pour créer des scripts et des applications personnalisés qui interagissent avec NiFi, leur permettant d’automatiser leurs processus d’intégration de données.

Comment utilisons-nous Nifi ?

Nous avons automatisé le processus d’ingestion à l’aide du framework NiFi en appelant les nifi restapi. Nous avons écrit un wrapper sur NiPyApi pour appeler l’API de repos NiFi. Grâce à cela, nous sommes en mesure de créer des flux de données, de démarrer et d’arrêter les processeurs, de récupérer les données des processeurs et d’exécuter l’ingestion de bout en bout tout en surveillant chaque étape du processus. Les informations sont transmises aux API à l’aide de fichiers JSON.

Flux de groupe de processeurs

Caractéristiques de base de NIMBUS NiFi :

• Nimbus-NiFi permet aux utilisateurs d’ingérer des données provenant de plusieurs sources vers différentes destinations.
• Pas besoin d’écrire de script ou de code.
• L’utilisateur n’a pas à se soucier des configurations.
• Les utilisateurs doivent fournir les détails de la source et de la destination dans des fichiers json facilement configurables, et Nimbus-NiFi se chargera du reste.
• Prise en charge de SSL et NON SSL.

Prise en charge de plusieurs sources et destinations

Comment utiliser Nimbus-NiFi ?

• Créez le fichier config.json.

• Créez le fichier setup.json en fonction de votre source et de votre destination.

• Créez un fichier ingestion.json en fonction de votre source et de votre destination.

• Exécutez ces commandes sur le terminal
  • installation de python setup.py
  • nimbus_env –f {chemin vers votre fichier setup.json} –c {chemin vers votre fichier config.json} pour configurer l’environnement NiFi.
  • run_ingestion –f {chemin vers votre fichier ingestion.json} –c {chemin vers votre fichier config.json} pour exécuter l’ingestion.

Vous pouvez également vous référer à notre projet open-source : https://github.com/tothenew/nimbus-nifi