Différences clés entre un entrepôt de données traditionnel et le Big Data

Les solutions traditionnelles d'entrepôts de données ont été initialement développées par nécessité. Pour gérer l'entreprise, chaque entreprise utilise des applications de planification des ressources d'entreprise (ERP) et CRM pour gérer les fonctions administratives telles que les finances, les comptes fournisseurs, les comptes clients, le grand livre et la chaîne d'approvisionnement. , service et centre d'appels. Les données capturées à partir de ces sources de données traditionnelles sont stockées dans des bases de données relationnelles composées de tables comportant des lignes et des colonnes et sont appelées données structurées. Ces bases de données sont optimisées pour le traitement des transactions en ligne (OLTP) et ne sont pas facilement interrogées pour les rapports et analyses ad hoc.

Alors, comment rendre les données collectées plus utiles? Microsoft Excel! Bien qu'Excel puisse être un outil utile, il existe des limites et des problèmes de fraîcheur, de cohérence et d’intégrité lors de l’utilisation d’Excel pour effectuer des analyses. C’est là que la Business Intelligence entre en jeu. Gartner définit l'intelligence économique comme «un terme générique qui inclut les applications, l'infrastructure et les outils, ainsi que les meilleures pratiques permettant d'accéder à des informations et de les analyser pour améliorer et optimiser les décisions et les performances.» [1] L'approche traditionnelle de la Business Intelligence sur les données collectées à partir des applications métier consiste à extraire les données des systèmes transactionnels et à les transférer dans un entrepôt de données optimisé pour la génération de rapports et non le traitement des transactions. Ce processus commence par des outils de consolidation de données tels qu'Informatica ou Oracle Data Integrator. Ces outils extraient les données de la base de données relationnelle ou du système source, le transforment en un format utilisable pour les requêtes et l'analyse, puis le chargent dans une base de données cible finale telle qu'un magasin de données opérationnel, un entrepôt de données ou un entrepôt de données. Ces outils, communément appelés outils d'extraction, de transformation et de chargement, permettent aux entreprises de déplacer et de transformer les données pour créer des plateformes d'entrepôt de données d'entreprise très complexes.

Une fois les données stockées, les outils de rendu des données, Avec des tableaux de bord et des rapports prédéfinis auxquels les utilisateurs ont accès, ils peuvent extraire des données pour mieux comprendre les performances de l'entreprise et prendre de vraies décisions basées sur les données. Certains outils de génération de rapports permettent aux utilisateurs expérimentés de créer leurs propres rapports ad hoc ainsi que diverses visualisations.

Bien qu'un rapport tabulaire puisse s'avérer utile pour un utilisateur averti qui souhaite examiner tous les détails, les utilisateurs moins soucieux du détail peuvent bénéficier de une présentation des données d'une manière plus stimulante visuellement qui contraste les données en utilisant des tailles, des formes, des couleurs et des positions pour indiquer des valeurs relatives et potentiellement rendre les données plus significatives.

riche, aucune des deux versions ne répond à la diversité des données que les entreprises accumulent pour prendre en charge leur commerce électronique ou leurs plates-formes sociales. Alors que le chemin vers la construction d'un entrepôt de données pour les données structurées issues de systèmes sources tels que ERP et CRM est clair, les entreprises doivent envisager d'autres technologies pour pouvoir fournir des informations sur les données non stockées sur des sources relationnelles.

Qu'est-ce que le Big Data?

Le Big Data fait référence à l'architecture et à l'approche modernes de création d'une solution d'analyse métier conçue pour répondre aux différents problèmes de gestion des données et des sources de données. Avec le taux de croissance exponentiel des volumes de données et des types de données, l’architecture d’entrepôt de données traditionnelle ne peut pas résoudre les problèmes d’analyse métier actuels. Avec l'architecture Big Data, vous pouvez effectuer des analyses métier sur de grands volumes de données stockés dans différentes applications, que ce soit dans des tables structurées ou relationnelles ou des fichiers non structurés. La partie la plus importante et la plus complexe d'une initiative Big Data consiste à déterminer quels problèmes commerciaux vous pouvez résoudre aujourd'hui, ce qui peut aider votre entreprise à augmenter ses revenus ou à réduire ses coûts et ses inefficacités.

Multi-Structured Data

, sources de données transactionnelles, vous trouverez des sources de données multi-structurées. Le commerce en ligne est un exemple courant de source de données multi-structurée. Le volume de données créé par les clients via les interactions en ligne est stupéfiant. Pensez à eBay et à votre comportement d'achat. Ces recommandations personnelles que eBay affiche pour vous sont directement liées à votre historique de recherche et d'achat sur son site. Pensez à Priceline et à votre modèle de recherche pour un voyage. Priceline fait des recommandations en fonction de votre historique de visualisation. Votre comportement de recherche en ligne est surveillé et suivi et est extrêmement précieux pour les détaillants. Toutes ces informations sont stockées dans un journal Web et peuvent également inclure une combinaison d'images et de journaux vidéo. Ces types de données multi-structurés nécessitent une approche différente du stockage, du nettoyage et de l'analyse.

Données non structurées

Alors que le commerce est un excellent exemple de données multi-structurées et de défis inhérents, les données non structurées Modèle d'entrepôt de données BI.

Les données résultant de nos interactions sur les médias sociaux, comme Twitter et Facebook, en sont un excellent exemple. Les commentaires, les préférences et les tendances des hashtags sont toutes des formes différentes de données non structurées qui augmentent chaque jour. Lorsque vous ajoutez à cette machine des capteurs, des fichiers journaux créés par des serveurs et d'autres points de données capturés par l'Internet des objets (IoT), l'étendue des données non structurées à analyser est ahurissante. Ces types de données ne sont pas stockés dans des bases de données traditionnelles. En fait, ce sont différents types de fichiers.

Les données stockées sur le Web, les données météorologiques, les données de recherche et les données de consommation créées par des sociétés d’études de marché telles que Nielsen et IRI sont des exemples de données non structurées. La combinaison de ces ensembles de données peut être un outil très puissant pour effectuer des analyses prédictives.

La variété et le volume de données que la suite C doit gérer pour une approche différente du stockage, du nettoyage et du traitement des données. L’objectif final de l’analyse en temps réel des décisions fondées sur des données exige une nouvelle façon de penser. Le Big Data est l'approche moderne pour stocker le pétaoctet, l'exaoctet et – très bientôt – les zettaoctets de données. [1] Gartner