Présentation d'Azure Modern Data Warehouse

Présentation de l'entrepôt de données moderne :

L'entrepôt de données de nos jours recueillera des données à partir de plusieurs magasins de données, y compris l'IOT, les réseaux sociaux, les API Web, les fichiers et plusieurs systèmes d'entreprise tels que votre CRM, votre application RH et Systèmes ERP.

Beaucoup de valeur et d'informations peuvent être découvertes en croisant ces données au lieu de les garder en silos. Par exemple, comment vos ventes augmenteraient-elles après avoir lancé cette nouvelle campagne sur les réseaux sociaux.

Les entrepôts de données modernes doivent être capables de lire les données dans différents formats. Le bon vieux temps du CSV et peut-être de quelques autres formats sont révolus. Désormais, vous disposez également de XML, Parquet, ORC, JSON et bien plus encore. Vous pouvez même utiliser des services cognitifs pour extraire la taxe d'un appel téléphonique enregistré ou obtenir des métadonnées à partir d'images.

Les données ne seront pas non plus transmises uniquement par le biais d'un traitement par lots ou ATL. Il peut s'agir d'un flux en direct provenant de capteurs ou d'applications boursières, vous permettant de réagir plus rapidement.

Enfin, les solutions d'entrepôt de données modernes devraient être capables de gérer les mégadonnées, terme utilisé pour définir de grandes quantités de données collectées dans des volumes croissants à des vitesses plus élevées et dans une plus grande variété de formats que jamais.

La création d'une solution d'entrepôt de données moderne n'est pas une tâche triviale. En utilisant diverses solutions Azure pour les données, cette tâche devient beaucoup plus facile.

Azure Solutions :

Les phases qui s'y rapportent sont les premières, vous avez besoin de la phase d'ingestion de données qui est le processus de capture des données. Cela peut être dans de nombreux formats et sources différents. Quelques solutions Azure que vous pouvez utiliser pour l'ingestion de données sont Azure Data Factory, Stream Analytics ou Event Hubs. Il est également assez courant d'avoir une couche intermédiaire pour ces données qui vous permet de conserver temporairement les données qui arrivent à grande vitesse de diverses sources et de les traiter par lots à un moment plus opportun. Il est également commun, en particulier sur les processus ELT, de conserver les données sur la couche intermédiaire et de laisser le système analytique saisir les données à la volée pour une analyse plus approfondie.

Si vous souhaitez conserver les données dans ce format brut au lieu de les envoyer à une solution d'entrepôt de données finale, vous pouvez utiliser Azure Data Lake. Ensuite, vous devez transformer et traiter ces données et les modéliser dans un format plus pratique pour le reporting. Cela peut signifier le nettoyage, le filtrage, la normalisation ou la dénormalisation des données, les formats de conversion, etc. Les principaux outils Azure à cette fin sont Azure Data Factory et les briques de données.

Enfin, il est temps de modéliser et de diffuser vos données afin que les analystes de Business Intelligence puissent générer des rapports et des conclusions à ce sujet. Les principaux outils pour cela sont les services Azure (mumbles) et Azure Synapse Analytics. Vous pouvez également y ajouter la couche de visualisation pour créer des rapports visuellement attrayants pour les utilisateurs professionnels et les dirigeants. Power BI est l'outil de choix pour cet objectif.