Data Lake Consolidation – l'analogie des agrégateurs

Dans mon dernier article, j'ai présenté le concept de Data Lake en tant que Consolidator et le facteur critique de succès de l'application d'une gouvernance de l'information robuste à cet environnement. Dans ce post, je veux introduire une analogie pour aider à visualiser cet environnement et les parties impliquées.

Donc, un Data Lake en tant que Consolidator. Qu'est-ce que cela signifie vraiment? Eh bien, pour moi, cela signifie obtenir des informations de plusieurs sources et les rendre disponibles à plusieurs cibles – avec un différenciateur clé pour s'assurer que les cibles n'ont pas besoin de savoir quelle source a fourni quelle information.

Les objectifs sont centrés sur l'information réelle, ce qui est une caractéristique clé d'un Data Lake puissant et utile.

Ce découplage offre un certain niveau de flexibilité en ce sens que l'ajout, le retrait et même l'altération de l'accès mécanisme – d'un système impliqué devient beaucoup plus simple et plus efficace parce que vous devez vous concentrer uniquement sur un seul système, et ne pas s'inquiéter de la façon dont ce système peut interagir ou non avec les autres.

Autrement dit, le Data Lake Consolidator peut être décrit en utilisant les énoncés de but et de valeur suivants:

But du lac de données:

Le but du Data Lake est de fournir un mécanisme unique et commun pour le partage de l'information entre

Justification / Valeur:

L'avantage de Data Lake réside dans le découplage des systèmes et la suppression des solutions d'intégration point à point pour améliorer l'efficacité et réduire les coûts de maintenance, tout en permettant à la fois la suppression et l'introduction de solutions sans impact sur aucune autre solution ou le coût d'intégration ou de désintégration de solutions

J'aime utiliser l'analogie d'un agrégateur – en ce sens, le référentiel central (le Data Lake) extrait des informations une variété de sources (fournisseurs), l'agrège (sépare, combine, consolide, reconditionne – ou laisse juste comme il est) et présente cette source vue indépendante de l'information aux cibles (consommateurs). L'image suivante fournit une représentation schématique de cette analogie:

Ce concept du monde réel est appliqué dans notre vie de tous les jours tout le temps – et est le modèle sous-jacent à toutes les interactions de vente au détail. Mais, comme indiqué, le modèle «entrepôt» est probablement le plus proche du concept Data Lake, car il fournit également l'accès «direct» aux produits du fournisseur «à la livraison» (assis sur une palette) – qui est l'un des les options dans un Data Lake.

Pour le bon consommateur, il est parfois logique de fournir un accès direct, en offrant cette option de concert avec les versions «reconditionnées».

Ce modèle repose sur quelques concepts clés. : l'un étant la référence à un «vocabulaire commun», dont je parlerai plus tard, et l'autre les rôles de fournisseur, d'agrégateur et de consommateur.

Il est essentiel de bien définir et articuler ces rôles et leurs responsabilités de sorte que toutes les parties soient «sur la même longueur d'onde» en ce qui concerne la façon dont elles jouent un rôle, et tout aussi important, lorsque les lignes de démarcation se situent entre ces rôles. Je vais approfondir un peu plus dans ces rôles et responsabilités dans mon prochain post.