Qu’est-ce qu’un maillage de données ? | Aperçus SAP

Lorsque nous parlons de lacs de données et de maillage de données, nous parlons essentiellement de Big Data. Ce qui rend les données « Big » n’est pas simplement leur énorme volume. Entre autres critères, le Big Data se définit également comme étant complexe, variable, généré rapidement et non structuré.

Une base de données linéaire est comme une feuille de calcul : elle comporte des colonnes et des lignes et des catégories immuables dans lesquelles tous les composants de données doivent tenir. Certaines des données générées par les machines, les capteurs et les sources industrielles sont structurées et s’intègrent parfaitement dans une base de données linéaire. Quel que soit le volume de données que vous devez traiter, si elles sont structurées à 100 %, elles ne répondent pas aux critères du Big Data et peuvent être hébergées dans une base de données linéaire, ce qui rend leur filtrage et leur extraction relativement simples.

Mais de plus en plus, le Big Data moderne est non structuré et se compose de composants visuels, de texte ouvert, et même de vidéo et de médias enrichis. Ces données cruciales peuvent comprendre des milliers de téraoctets d’informations pour de nombreuses entreprises, et elles ne peuvent tout simplement pas être stockées dans une base de données linéaire standard.

Entrez dans le lac de données. Alors que les volumes de Big Data commençaient à augmenter, les lacs de données ont été développés comme un lieu dans lequel des données complexes pouvaient être stockées et accessibles à partir d’un référentiel central dans leur format brut. Si les lacs de données représentent une excellente solution au problème du Big Data, ils présentent néanmoins des faiblesses. Les lacs de données manquent de certaines fonctionnalités analytiques, ce qui les rend dépendants d’autres services pour les fonctionnalités de récupération, d’indexation, de transformation, d’interrogation et d’analyse. Et du point de vue de la gestion d’entreprise, les lacs de données présentent également trois défis supplémentaires :

1. La propriété des lacs de données est complexe à définir lorsque trop d’acteurs génèrent et accèdent aux données. En l’absence de rôles et de responsabilités clairement définis, le même ensemble de données peut être géré différemment par différentes parties, créant des incohérences qui le rendent difficile à utiliser. De même, d’autres données finissent par être négligées lorsqu’elles ne sont pas gérées activement par ceux qui les utiliseront en fin de compte. L’architecture de maillage de données garantit gouvernance des données est clairement répartie par domaine afin que chaque équipe ou expert du domaine régisse les données qu’il produit et utilise. Pour sauvegarder cela, les maillages de données utilisent également une structure de gouvernance fédérée pour permettre également un contrôle central de la modélisation des donnéesles politiques de sécurité et la conformité.

2. Les lacs de données peuvent ne pas garantir la qualité des données lorsque le volume de données devient trop important ou lorsque les gestionnaires de données centraux eux-mêmes ne le comprennent pas. L’architecture de maillage de données traite fondamentalement les données comme un produit précieux, ce qui place la qualité et l’exhaustivité des données au premier plan de gestion de données. Vraisemblablement, chaque équipe connaît les critères et les problèmes les plus importants qu’elle souhaite extrapoler à partir des données qu’elle collecte. En intégrant ces critères et priorités dans l’architecture, le maillage de données peut aider à assurer la livraison continue et hiérarchisée de données propres, fraîches et complètes, même lorsque des ensembles de données plus volumineux sont impliqués. Et bien sûr, lorsque des algorithmes d’apprentissage automatique sont appliqués, ces critères et les ensembles de données qui en résultent deviennent de plus en plus précis et utiles au fil du temps.

3. Les lacs de données peuvent créer des goulots d’étranglement en raison de leur architecture centralisée et des processus et protocoles de récupération de données traditionnellement difficiles. Cela signifie généralement que le contrôle d’une grande quantité de données consolidées revient à une seule équipe informatique ou de gestion des données. Et, à mesure que les volumes de données (et la demande pour leur récupération) augmentent, ces équipes informatiques sont surchargées.

De plus, les données doivent être examinées et structurées correctement pour garantir la conformité et le respect des principes de gouvernance des données. Face à une pression excessive, il peut y avoir une tendance à se précipiter à travers ces étapes de conformité, ce qui génère des risques et des pertes potentiels pour l’entreprise. L’architecture de maillage de données, d’autre part, donne accès et contrôle aux utilisateurs spécialisés autorisés qui ont un plus grand intérêt dans les données, tout en utilisant des protocoles de sécurité rigoureux et intégrés.

Les principes du maillage de données sont apparus en réponse directe à ces défis croissants liés aux lacs de données. L’architecture de gestion des données décentralisée et démocratisée a rendu les entreprises plus intelligentes, plus agiles et plus précises en garantissant que les bonnes données sont immédiatement disponibles pour les bonnes personnes, où et quand elles en ont besoin. Le maillage de données fait des données en tant que produit une réalité réelle, en réduisant les obstacles et en donnant la priorité à la valeur de l’information afin que les équipes puissent obtenir un accès plus rapide et sans entrave aux données essentielles.