Mettre des données en direct et historiques en mémoire

Le traitement transactionnel / analytique hybride (HTAP) est un terme inventé par […] pour décrire des systèmes de base de données en mémoire capables de stocker en temps réel des données transactionnelles et historiques en temps réel pour analyse . Forrester et d'autres utilisent l'expression " translytical ." Quoi que vous appeliez, c'est un outil indispensable pour de nombreux cas d'utilisation de l'économie numérique.

Internet des objets (IoT)?

Sans une approche HTAP ou translytique, la maintenance prédictive (l'un des cas d'utilisation les plus courants pour l'IoT) serait presque impossible. L'idée elle-même repose sur la capacité d'analyser simultanément les données provenant des capteurs IoT sur les ressources déployées et afin de détecter les tendances qui vous aident à prévoir les besoins de maintenance.

En fait, de nombreux cas d’utilisation de la surveillance en temps réel dépendent de cette approche. Du contre-terrorisme et de la santé des patients à la détection des fraudes et aux prévisions météorologiques, la capacité à comprendre de nouvelles données entrantes à la lumière des données historiques est essentielle pour gérer une entreprise intelligente . La question évidente est la suivante: pourquoi OLAP (traitement analytique en ligne) et OLTP (traitement des transactions en ligne) sont-ils séparés? Les avantages liés à leur association, tels que la fourniture d'informations et la réponse plus rapide, ne sont-ils pas évidents?

La raison de cette scission était la performance. Traditionnellement, les organisations ont séparé les analyses en un environnement d'entrepôt distinct. Dans cet environnement, les experts peuvent intégrer des données de transaction à des données historiques pour effectuer des analyses et générer des rapports sans interférer avec les hautes performances requises pour la collecte de nouvelles transactions. Cette approche a l'avantage de préserver le paysage de production en direct pour les transactions commerciales en temps réel où le niveau de performance le plus élevé est indispensable. Le prix est que les données analytiques et de reporting ne sont plus en temps réel mais retardées en heures ou en jours.

Le problème est que dans l'économie numérique, les performances des entreprises ne sont plus simplement mesurées dans les transactions traitées. De plus en plus, il est mesuré en fonction de la rapidité de connaissance et de la capacité à réagir rapidement et efficacement. De ce point de vue, la pratique consistant à séparer OLAP de OLTP constitue un désavantage stratégique.

L'avantage de conserver les transactions et les analyses en même temps

Une approche de base de données au moins trois avantages solides. Premier sur la liste est moins de travail pour les professionnels de l'informatique. Sans avoir à déplacer constamment les données opérationnelles vers des entrepôts de données – généralement avec des chargements de lots de minuit parfois erronés et nécessitant une correction – vous pouvez libérer vos informaticiens pour qu'ils se concentrent sur des activités de niveau supérieur.

Les données transactionnelles sont toujours disponibles sur demande, instantanément. Et il est disponible pour l'analyse tout aussi rapidement. La latence entre la création des données et leur analyse est quasi inexistante. Cela peut accélérer considérablement la prise de décision.

Troisièmement, la simplicité. Du point de vue des données, l'une des sources de complexité les plus importantes est la duplication des données. Et chaque fois que vous copiez des données dans l'entrepôt de données, vous dupliquez ces données, ce qui accroît la complexité. Avec tout en mémoire, vous pouvez créer une version unique de la vérité. Ceci simplifie énormément votre paysage de données.

Un exemple d'utilisation de data marts

Disons que vous gérez la distribution de produits pour un fabricant de produits de consommation. Pour minimiser les étagères vides et réduire les stocks excédentaires, vous avez traditionnellement analysé les données historiques à l'aide de votre entrepôt de données d'entreprise.

Mais aujourd'hui, les choses sont différentes. Aujourd'hui, vous souhaitez utiliser de nouvelles données – les données des médias sociaux. En direct et en continu, ces données sont extrêmement utiles pour lire les tendances des clients, gérer la demande et créer des expériences client positives.

Votre idée est de combiner les données sociales en continu avec les données des stocks pour mieux comprendre la demande et les bons produits sur les bonnes étagères au bon moment. Sur la base de ces informations, vous pouvez générer des manifestes de livraison en temps réel pertinents pour les conducteurs afin de garantir le type de livraison efficace et sans tracas qui génère des résultats client positifs.

Avec des approches traditionnelles, ce type de projet serait trop coûteux . Mais avec une infrastructure de données en mémoire en place, votre idée n'est que l'un des nombreux projets potentiels pouvant aider votre entreprise à fonctionner de manière plus compétitive, efficace et rentable.

La façon dont les choses se passent est avec un datamart. Les magasins de données, qui se concentrent sur un cas d'utilisation spécifique, comme l'analyse des ventes, sont utilisés depuis des années avec les entrepôts de données . Dans le contexte des bases de données relationnelles stockées sur le disque dur, le but a toujours été de fournir aux utilisateurs les données les plus pertinentes en un minimum de temps en utilisant de petites tranches de données historiques.

exponentiellement plus rapide. Au lieu de petites tranches, vous obtenez la pizza entière. Aucun agrégat nécessaire. Les dépôts de données sur disque dur nécessitent des processus d'extraction, de transformation et de chargement (ETL) traditionnels et, invariablement, ils aggravent le problème de duplication des données. Les magasins de données dans le contexte de la mémoire, en revanche, ne subissent pas de pénalité de performance pour l'accès aux données. Essentiellement, ils indiquent simplement où vivent les données en direct – et utilisent ces données pour les analyser et les prendre en temps réel.

Le data mart conserve toujours le sens d'un outil spécifique. Dans notre exemple, l’objectif est la gestion réactive des stocks. Mais beaucoup de tâches associées à la gestion des données et de performances ont disparu. Cela signifie que la création de nouveaux centres de données pour différencier votre entreprise peut être plus rapide et plus facile.

Pour plus d'informations sur les approches HTAP et translytical pour la gestion de bases de données, lisez le rapport Forrester ici .

<! – Commentaires ->