Pourquoi votre stratégie de données d'entreprise doit-elle être hybride?

De nombreuses entreprises peaufinent encore leurs stratégies en matière de données et, le plus souvent, les entreprises comparent les entrepôts de données et les lacs de données en tant que solutions autonomes.

Selon la récente enquête d'optimisation des données de PwC les principaux défis en matière de données de l'entreprise sont la faible fiabilité des données, l'incapacité de protéger et de sécuriser correctement les données, le silo de données ou manque de partage et systèmes informatiques inadéquats pour supporter l'intelligence artificielle (AI). Les décisions de l'entreprise étant de plus en plus axées sur les données, de nombreuses quantités de données doivent être stockées et consultées simultanément en temps réel pour prendre ces décisions. Les entreprises sont encouragées à trouver une solution à ces problèmes de données, notamment des économies substantielles et un chiffre d’affaires annuel accru. Selon PwC, la sécurisation de vos données, la correction des silos, la mise en place de systèmes d’information appropriés et l’augmentation de l’utilisation des données peuvent augmenter le revenu annuel de 10% et permettre à une entreprise d’économiser 33%.

Disposer de la stratégie de données la plus efficace pour l’ensemble des organisations. Pour résoudre les problèmes actuels du Big Data et des processus métiers, les services informatiques devraient commencer par changer de mentalité: passer de la comparaison entre les lacs de données et les entrepôts à une combinaison de leurs pouvoirs dans le nuage.

Analyse détaillée: lac de données par rapport à un entrepôt de données

Pour comprendre pourquoi une stratégie hybride d'entreposage de données est très efficace, décomposons d'abord chaque solution. Un lac de données est une grande quantité de données structurées et non structurées provenant de sources multiples qui peuvent être stockées de manière efficace et économique. La valeur d'un lac de données réside dans le fait qu'il peut fournir des informations à partir de données qui seraient autrement trop volumineuses (par exemple, 25 années de données financières historiques) ou de données qui n'ont actuellement pas d'objectif prédéfini. Cela permet aux organisations d'obtenir des informations et de la valeur à partir de données précédemment mises en silo, ce qui n'est pas possible avec les pratiques de gestion de données actuelles.

Un entrepôt de données est un magasin destiné à stocker de grandes quantités de données préparées pour fournir un aperçu des questions commerciales clés. Les entrepôts de données agrègent des données provenant de sources multiples. Les données et l'infrastructure sont optimisées pour l'analyse. La clé du succès futur des entrepôts de données et des data lake consiste à s’assurer qu’ils font partie d’une vision combinée plus large pour l’analyse pouvant être déployée sur site et / ou dans le cloud. Ils doivent également être intégrés dans une infrastructure commune d'intégration de données, de mouvement et de cycle de vie.

Il a été prouvé que les entrepôts de données amélioraient et amélioraient la prise de décision dans les organisations en rassemblant des données clés structurées, nettoyées et complètes. Un entrepôt de données vise l'efficacité en limitant les données stockées au minimum requis pour traiter les domaines d'analyse préexistants. Les entrepôts de données sont capables de fournir des réponses sur des données actualisées très rapidement et sont essentiels pour les organisations en temps réel. Un entrepôt de données est un élément clé d'une entreprise intelligente et est essentiel pour la prise de décision.

Quelle est donc la différence?

Les lacs de données sont davantage axés sur la capture de toutes les données, souvent à l'état brut, même si l'utilisation et la valeur de ces données peuvent ne pas être apparentes au moment de la capture. Un lac de données permet à une organisation d’étudier des domaines d’analyse situés au-delà des limites de l’ensemble de données stockées dans un entrepôt de données. Les temps de réponse des lacs de données ont tendance à être plus longs que ceux des entrepôts de données en raison de la grande taille amorphe de leurs ensembles de données. Les Data Lakes sont utiles pour stocker de grands ensembles de données historiques et peuvent constituer une archive pour un entrepôt de données. Les Data Lakes peuvent également stocker les données brutes préparées pour importation dans un entrepôt de données.

Les entrepôts de données et les Data Lakes doivent pouvoir augmenter la valeur des données pour les organisations en augmentant la qualité des données (et donc la confiance des utilisateurs dans leurs données). Ils doivent interagir pour pouvoir se connecter à toutes les sources de données afin de fournir une vue complète des données au sein d'une organisation et même au-delà. Ils doivent également disposer d'outils analytiques avancés pour fournir des informations intelligentes à partir des données.

Mettre les données en action

Les meilleurs exemples d'utilisation des entrepôts de données consistent à répondre à des questions opérationnelles concernant une organisation, telles que les revenus du mois écoulé. , quel client a acheté la majeure partie d'un produit au cours des 30 derniers jours, etc. Les entrepôts de données sont également intégrés dans les processus décisionnels pour optimiser les chaînes d'approvisionnement, améliorer les temps de réponse des clients, ainsi que la précision et la rapidité de la prise de décision. Les entrepôts de données sont essentiels pour fournir des analyses en temps réel car ils peuvent charger en continu les données les plus récentes et les plus récentes et répondre aux requêtes sur ces données presque en temps réel.

Les lacs de données ont des utilisations opérationnelles, telles que le stockage de données historiques ou zone de transfert des données en cours de préparation pour un entrepôt de données. Cependant, la valeur unique que Data Lakes peut fournir réside dans les informations tirées de données qui ne sont généralement pas collectées dans un entrepôt de données. Les Data Lakes peuvent intégrer ces informations à des analyses de données plus traditionnelles afin de fournir des réponses impossibles avec les entrepôts de données traditionnels. Les Data Lakes sont souvent le lieu idéal pour les grands ensembles de données traités par l'apprentissage automatique et les systèmes d'intelligence artificielle qui recherchent des informations cachées au sein d'une organisation. C’est avec les Data Lakes que nous résolvons de nombreux problèmes de données liés à l’absence de services informatiques capables de prendre en charge les initiatives d’IA. Les Data Lakes offrent aux organisations la possibilité d'examiner comment elles souhaitent utiliser leurs données. Ils peuvent veiller à ce que, dans les scénarios à venir, il soit possible d'accéder à ce site afin de rendre compte de ses performances sur le marché ou de contribuer à la création des meilleures expériences client en respectant toutes les réglementations en matière de confidentialité des données.

L'approche hybride

Bien sûr, L'un des meilleurs cas d'utilisation pour les Data Lakes et les entrepôts de données est le moment où vous pouvez implémenter les deux, permettant aux données d'être dans un état harmonique et compatible et déployées dans le cloud. Dans le nuage, les entrepôts de données et les lacs de données vont de pair. C’est dans ce contexte qu’une entreprise peut exploiter les atouts des Data Lakes et des entrepôts de données pour évaluer les données, déterminer leur utilisation dans les processus métiers et les utiliser dans les opérations pour réduire les coûts et augmenter les revenus. Une fois que ces systèmes sont en place, il est également possible d'automatiser ces actions.

Quel que soit le fournisseur de cloud, cette approche permet à une entreprise de disposer du stockage illimité à faible coût et de la flexibilité d'un lac de données, ainsi que des performances élevées. et capacités d'analyse d'un entrepôt de données. Avec le transfert de l’infrastructure de données d’une entreprise vers le nuage, la comparaison entre entrepôt de données et data lac diminue. Il est devenu naturel pour les organisations de disposer des deux systèmes et de déplacer les données de manière flexible des lacs aux entrepôts afin de permettre une analyse efficace et en temps réel des affaires.

De nombreux travaux novateurs sont en cours pour lier logiquement l'entrepôt de données et le lac de données. dans un cadre unique et totalement intégré. Cela fournira au moteur de gestion de données sous-jacent une compréhension sémantique qui peut aider à mélanger les données structurées «comprises» dans l'entrepôt de données avec les données non structurées «non minées» dans le lac de données. Ceci offrira finalement une vue à 360 degrés inestimable sur le (s) sujet (s) analysé (s) (clients), contribuant ainsi à générer une valeur commerciale et des résultats imprévus.

Veuillez vous joindre à notre webinaire «Les chemins de l’entreprise intelligente», mardi, juin. 11, avec Phil Carter, analyste en chef chez IDC, et Dan Kearnan et Ginger Gatling, de SAP. Inscrivez-vous ici.

Cet article a paru à l'origine dans Dataversity et est republié avec autorisation.