Fermer

juillet 10, 2022

Power Platform Dataflow : Un puissant outil d’intégration

Power Platform Dataflow : Un puissant outil d’intégration


Ce qui suit est le premier d’une série de blogs sur Flux de données Power Platform.

L’ETL, l’intégration de données et les préparations de données sont l’épine dorsale de toute application métier. Les entreprises génèrent aujourd’hui un massif montant de données dans leur au jour le jour opération. En outre, ces données sont désordonnées et proviennent de différentes sources et emplacements, chacun avec c’est unique structurant normes. Cela fait de l’intégration des données la tâche la plus difficile, la plus longue et la plus coûteuse.

D’autre part, Automatisation de puissance, le composant de Power Platform, est capable de se connecter à une gamme de sources de données et peut intégrer les données dans une large mesure. Cependant, les connecteurs dans Power Automate ont un seuil défini pour limites de limitation sur le nombre d’appels d’API par minute ou par jour. De plus, les flux sont relativement plus lents car ils effectuent des opérations par ligne.

La nouvelle capacité de flux de données de Power Platform vise à réduire les coûts et le temps et à faciliter l’agrégation et la préparation des données pour les visualisations, les analyses et l’intelligence d’affaires pour les développeurs citoyens.

Qu’est-ce que le flux de données Power Platform ?

UN Flux de données Power Platform est l’une des composantes de Plate-forme de puissance utilisé pour la préparation des données, l’intégration des données, la validation des données et parfois la migration des données. Dataflow permet de se connecter à plusieurs sources de données distinctes dans le cloud, sur site ou Saas. Il exploite un outil de requête puissant bien connu pour nettoyer les données, définir des règles, analyser la logique, fusionner les données, ajouter plusieurs tables, etc. pour créer des données significatives. Dataflow mappe les données sur des entités standards à l’aide de Modèle de données commun. Il peut charger les données nettoyées dans Dataverse tables en créant de nouvelles lignes ou en mettant à jour les lignes existantes. Dataflow est assez facile à développer par des développeurs citoyens ayant une expérience sans code.

Diagramme de flux de données

Diagramme de flux de données

Cet outil peut se connecter à un grand nombre de sources de données aujourd’hui et ce nombre ne cesse de croître. Inutile de dire que chaque connecteur est livré avec sa propre authentification, ce qui améliore la sécurité. Voici la liste des connecteurs disponibles à ce jour.

Dataflow peut se connecter à plusieurs sources de données

Dataflow peut se connecter à plusieurs sources de données

Comment déclencher l’actualisation du flux de données ?

Les utilisateurs peuvent actualiser le flux de données manuellement ou définir la fréquence d’actualisation en sélectionnant « Modifier le paramètre d’actualisation ». Il est disponible dans le menu Dataflow. Les utilisateurs peuvent également développer un flux Power Automate et actualiser le flux de données.

Menu Flux de données

Menu Flux de données

Planifier une actualisation automatisée

Planifier une actualisation automatisée

Quelques applications importantes de Dataflow

Dataflow propose des applications allant de l’intégration de données à la validation des données. Voici quelques-unes des applications importantes :

  • Préparation des données / ETL : La préparation des données implique la collecte, la combinaison, la structuration et l’organisation des données, afin qu’elles puissent être utilisées dans les applications d’informatique décisionnelle, de visualisation des données et d’analyse. Power Query, le puissant outil de Microsoft est capable de prétraiter, de profiler, de nettoyer et de transformer. Il extrait de manière transparente les données des systèmes internes et des sources externes avec la sécurité et l’authentification requises.
  • Migration de données : De nombreuses entreprises augmentent ou migrent leurs applications héritées vers Power Apps en raison de son potentiel connu. La taille des données de ces applications est importante dans de nombreux cas. Les données extraites doivent passer par une série de fonctions en préparation et finalement être chargées dans Dataverse. Le flux de données effectue ce travail de manière transparente en mappant les colonnes de la table Dataverse de destination.
  • Validation des données / Réconciliation des données : La validation des données est une étape critique dans tout workflow de données, elle est souvent ignorée car elle ralentit le rythme de travail. De plus, ce n’est pas un processus simple car il existe de nombreuses tables interdépendantes dans la base de données avec une relation parent-enfant. Dataflow offre la possibilité d’organiser les données dans des formats comparables, identifiant ainsi les erreurs et les incohérences avec les règles définies.

Sans aucun doute, le potentiel des Dataflows est invariablement le secret le mieux gardé de la Power Platform. Cependant, il y a toujours des inconvénients à chaque excellent outil. Voici quelques avantages et inconvénients de Dataflow, à prendre en compte lors de la mise en œuvre.

Avantages :

  1. Le flux de données dans Power Platform n’a pas besoin d’une licence supplémentaire
  2. L’outil est convivial et intuitif, tout développeur citoyen peut facilement l’utiliser
  3. Les requêtes Power dans Dataflow, Excel et Power BI sont identiques. Ils sont simples à transférer d’une plateforme à une autre
  4. Le flux de données peut faire partie de la solution Power Platform, il est donc facile de le migrer vers différents environnements avec d’autres composants
  5. Il peut gérer une quantité massive de données, contrairement à Power Automate qui limite si un nombre d’appels d’API par minute ou par jour dépasse le seuil limite.
  6. Il est facile d’actualiser Dataflow manuellement ou avec la planification. L’actualisation incrémentielle donne un avantage
  7. Dataflow s’exécute dans le cloud et un rapport d’exécution est disponible pour chaque exécution, il n’est donc pas nécessaire de surveiller les exécutions, contrairement à Excel Power Query
  8. L’outil gère un niveau élevé de parallélisme et prend donc un temps considérablement court par rapport à Power Automate ou à d’autres outils d’intégration.
  9. De nombreuses opérations de texte sont disponibles dans Power Query, ce qui permet aux utilisateurs d’analyser facilement les données
  10. Peut charger les données à partir de sources de données cloud, Saas, sur site et même d’ordinateurs personnels (avec authentification)

Les inconvénients :

  1. Microsoft n’a pas encore activé le partage de la propriété du flux de données
  2. Les variables d’environnement ne peuvent pas être utilisées dans les flux de données
  3. Les utilisateurs ne peuvent pas ajouter de fichiers ou de pièces jointes à Dataverse lors du chargement des données
  4. Il n’y a aucune indication sur le nombre optimal d’entités dans le flux de données
  5. Dataflow a une limite d’actualisation de deux heures par entité

Conclusion

Dataflow utilise Power Query Engine, un outil puissant et facile à utiliser de Microsoft. Il peut se connecter à une gamme de sources de données à partir du Cloud ainsi que sur site. Dataflow offre un haut degré de fiabilité dans l’ETL et l’intégration de données. Pourtant, il est possible de libérer pleinement le potentiel de Dataflow dans une Power Platform.

Apprendre encore plus

Pour en savoir plus sur la façon dont Power Platform et Dataflow peuvent stimuler l’innovation dans votre entreprise, suivez ce lien et téléchargez le guide.






Source link