Fermer

Factory

Flux de données dans Azure Data Factory

Aperçu: Les flux de données sont l’une des fonctionnalités d’Azure Data Factory qui permet aux ingénieurs de données de développer une logique de transformation de données dans une approche graphique sans écrire de code. Les flux de données résultants peuvent ensuite être exécutés en tant qu’activités dans les pipelines Azure Data Factory qui utilisent des clusters Spark scale-out. Vos flux de données s’exécuteront sur votre propre cluster d’exécution pour un traitement de données évolutif. ADF gère en interne toute la traduction du code, l’optimisation des étincelles et l’exécution de la transformation. Les activités de flux de […]

août 4, 2022

Lire l'article

Filtrage, fusion et ajout d’une nouvelle colonne dans Azure Data Factory

Usine de données Azure est un outil ETL puissant, avec la capacité de créer des pipelines ETL en utilisant une approche low code/no code. Ceci peut être réalisé en utilisant « Activités”. Les activités sont les tâches exécutées sur les données d’un pipeline. Dans cet article, je démontre un processus ETL qui copie des données d’une source à une autre et effectue certaines tâches sur les données à l’aide de Activités dans Azure Data Factory comme suit : Extrait les fichiers avec une sous-chaîne spécifique dans leurs noms de fichier à partir d’un pool de fichiers de […]

juillet 26, 2022

Lire l'article

Mappages de colonnes en tant que contenu dynamique dans Azure Data Factory

Dans cet article, j’aimerais vous expliquer l’approche par laquelle nous pouvons fournir les mappages de colonnes en tant que contenu dynamique dans les activités de copie de données dans Azure Data Factory à l’aide d’une table placée dans une base de données. Pourquoi est-il nécessaire de fournir les mappages de colonnes en tant que contenu dynamique ? Nous pouvons utiliser l’option « Import Schemas » sous Mapping pour récupérer les colonnes source et cible et les mapper manuellement, ce qui est utile lors de l’utilisation de l’activité de copie de données pour une seule table. Cependant, lorsque nous utilisons […]

juillet 21, 2022

Lire l'article

Pipelines et activités dans Azure Data Factory et Azure Synapse Analytics

Aperçu: Une usine de données ou un espace de travail Synapse peut avoir plusieurs pipelines. Les pipelines sont des groupes d’activités qui exécutent ensemble une tâche spécifique. L’intégration de données et les services ETL (Extract, Transform and Load) dans le cloud fonctionnent ensemble pour orchestrer le mouvement des données et transformer les données en toute simplicité. Certains workflows peuvent ingérer des données provenant de sources de données disparates (appelées pipelines) que vous pouvez créer et planifier. Un processus ETL complexe peut être construit visuellement avec des flux de données ou avec des services de calcul tels […]

juillet 14, 2022

Lire l'article

Consigner les exécutions de pipeline dans un fichier dans Azure Data Factory

Pourquoi Azure Data Factory ? Aujourd'hui, les données générées par les applications de nos clients sont de plus en plus exponentielles, surtout si les données proviennent de plusieurs produits différents. Les organisations disposent de plusieurs types de données situées dans le cloud et sur site, dans des formats structurés, non structurés et semi-structurés, tous arrivant à des fréquences et des vitesses différentes. Il sera essentiel d'analyser et de stocker toutes ces données. Azure Data Factory (ADF) est un service d'intégration de données basé sur le cloud qui résout exactement ces scénarios complexes. ADF stocke d'abord les […]

janvier 11, 2022

Lire l'article

Transformez vos données avec Azure Data Factory

Ce blog vous aidera à comprendre les fonctionnalités de base d'Azure Data Factory (ADF) et à quel point cet outil est puissant lorsque vous travaillez avec des données volumineuses. Explorez l'architecture de base sur ADF et découvrez les composants et les services impliqués. Une introduction rapide à Azure Data Factory et ses principales fonctionnalités ADF est un service d'intégration basé sur le cloud pour orchestrer et automatiser le mouvement et la transformation des données. avec 90 connecteurs sans entretien intégrés sans frais supplémentaires. Créez facilement des processus ETL et ELT dans un environnement visuel ou écrivez […]

décembre 8, 2021

Lire l'article

Referral Factory: lancez et exécutez votre propre programme de marketing de référence

Toute entreprise avec des budgets publicitaires et marketing limités vous dira que les parrainages sont leur canal le plus lucratif pour acquérir de nouveaux clients. J'adore les références parce que les entreprises avec lesquelles j'ai travaillé comprennent mes forces et peuvent reconnaître avec leurs collègues qu'elles ont besoin d'aide que je peux fournir. Sans compter que la personne qui me réfère est déjà digne de confiance et que sa recommandation a une tonne de poids. Il n'est pas étonnant que les clients référés achètent plus tôt, dépensent plus et recommandent d'autres amis: 92% des consommateurs font […]

mars 23, 2021

Lire l'article

Referral Factory: lancez et exécutez votre propre programme de marketing de référence

Toute entreprise avec des budgets publicitaires et marketing limités vous dira que les parrainages sont leur canal le plus lucratif pour acquérir de nouveaux clients. J'adore les références parce que les entreprises avec lesquelles j'ai travaillé comprennent mes forces et peuvent reconnaître avec leurs collègues qu'elles ont besoin d'aide que je peux fournir. Sans compter que la personne qui me réfère est déjà digne de confiance et que sa recommandation a une tonne de poids. Il n'est pas étonnant que les clients référés achètent plus tôt, dépensent plus et recommandent d'autres amis: 92% des consommateurs font […]

mars 22, 2021

Lire l'article

Création de pipelines modulaires dans Azure Data Factory à l'aide de données JSON

Les pipelines Azure Data Factory (ADF) sont puissants et peuvent être complexes. Dans cet article, je partage quelques leçons et pratiques pour les rendre plus modulaires afin d'améliorer la réutilisation et la gérabilité. Les pipelines sont composés d'activités, à mesure que le nombre d'activités et de conditions augmente, la difficulté de maintenir le pipeline augmente également. Ceci est similaire à n'importe quelle procédure dans le code, plus il devient long de plus en plus de pouvoir éditer, lire, comprendre. Par conséquent, les meilleures pratiques logicielles promeuvent les procédures de refactorisation en éléments de fonctionnalité plus petits. […]

mai 31, 2020

Lire l'article