Comment construire une plateforme de données gagnante

Récemment, lors d’Informatica World 2019, j’ai compris l’importance de la plate-forme de données pour renforcer les capacités de l’IA en matière d’IA. Ce qui est intéressant, c’est que Informatica, connu pour ses produits fournissant la «Suisse de données», utilise désormais les fonctionnalités d’intelligence artificielle pour améliorer sa propre gamme de produits avec des fonctionnalités CLAIRE . En explorant plus en profondeur quelques autres articles sur l'importance des données, j'ai aussi découvert la hiérarchie des besoins en données scientifiques de de Monica Rogati et j'ai été impressionné par la manière dont elle a mis en relation la structure de l'IA avec la hiérarchie des besoins de Maslow .

D'une certaine manière, la «réalisation de soi» que Maslow définit comme «réalisant tout son potentiel» est la capacité de l'IA. Cependant, pour y arriver, vous avez besoin des bases de la plateforme de données. À présent, une distinction importante entre la hiérarchie des sciences de données de Monica Rogati et ma structure pyramidale est la supposition que vous utiliseriez les fonctionnalités de logiciels tels que Informatica, qui vous offre des fonctionnalités basées sur une interface graphique où vous pouvez consacrer plus de temps à la gouvernance, à l'analyse et à la qualité. moins de temps sur l'écriture de codage personnalisé. Veuillez donc considérer que pendant la lecture de cet article.

Chemin de la plate-forme de données

FIND
Il est primordial d'identifier et de définir clairement le “cas d'utilisation” que le L'équipe d'IA va après. Sans un cas d’utilisation significatif, construire l’apprentissage automatique et l’automatisation à des fins d’exploration n’apporte aucune valeur. Une fois le cas d'utilisation défini, recherchez l'emplacement des données dans l'entreprise ou en dehors de l'entreprise (référence, tierce partie, etc.)

COLLECT
à l'aide d'outils commerciaux et open source disponibles sur le marché de données, vous pouvez rapidement créer une intégration de données pour collecter des données en temps réel ou par lots dans un lac de données. Ne négligez pas la qualité des données à ce stade.

COMPRENEZ
Une fois que vous avez collecté des données dans un lac de données, comprenez les données que vous avez collectées en profilant les ensembles de données et en les mappant à votre cas d'utilisation. Vous pouvez également définir des balises dans vos données pour mettre un contexte commercial de vos jeux de données. En outre, essayez de classer les données que vous avez collectées en catégories qui ont un sens commercial sensé.

INTEGRATE & TRANSFORM
Une fois que vous avez tagué et classé vos jeux de données, intégrez les données de plusieurs sources dans un seul modèle soutenir vos cas d'utilisation définis. Dans certains cas, il peut également s'agir d'une amélioration de votre modèle de données existant afin de prendre en charge plusieurs cas d'utilisation.

ENRICH
L'intégration devrait également inclure l'enrichissement des données. Autant de jeux de données ouverts tels que la météo, les modèles de trafic, les devises, les catastrophes et les conditions de santé sont à la disposition du public. En outre, des ensembles de données tiers, tels que Dun & Bradstreet, peuvent aider à valider les adresses des clients.

SCALE
Il est clair que l’intégration d’ensembles de données aussi volumineux et disparates et la création de modèles de données à partir de ces ensembles de données, de votre nuage ou sur la plate-forme de données sur site doit pouvoir fonctionner à grande échelle. Utilisez donc des techniques de réglage des performances et de stockage / calcul qui fourniront des résultats ponctuels.

EXPERIENCE
Des données de bonne qualité ne signifient rien sans la présentation de résultats dans un format pouvant être utilisé par différents niveaux d’audience ( niveau de ligne aux cadres). Les plates-formes de génération de rapports telles que Power BI Tableau et Microstrategy sont devenues des leaders du marché par leur capacité à créer de superbes visualisations avec des jeux de données en continu ou volumineux. Par conséquent, de grands fournisseurs de cloud, tels que Salesforce, ont acquis des sociétés de veille stratégique telles que Tableau pour améliorer leur visualisation.

Définition des métriques

Un autre facteur important consiste à définir clairement les métriques et les mesures permettant de prendre des mesures en fonction de faits. ] MONITOR
La construction de la plate-forme de données n’est pas une activité ponctuelle. Des données similaires aux infrastructures nécessitent un suivi et des améliorations constants fondés sur le retour d'informations d'experts métier (PME) qui agissent également en tant que PME de données. Par conséquent, lorsque vous développez votre plateforme de données, utilisez les services de surveillance et créez des notifications et des alertes en fonction de seuils définis par les besoins de l'entreprise. De plus, vous pouvez évaluer vos données en fonction de leur pertinence par rapport à votre processus de prise de décision. Cela améliorera la qualité des données qui sont importantes pour l’organisation. Cette activité améliorera également la priorité donnée aux ensembles de données critiques par rapport à d'autres, comme par exemple l'application de SLA plus stricts sur des systèmes importants et leurs procédures de récupération.

AI & DEEP LEARN
Toutes les étapes ci-dessus conduisent à la création d'algorithmes d'automatisation et de processus d'automatisation. cela fournira des opportunités pertinentes et un impact direct sur les résultats de votre organisation.

Alors que la séquence d'événements ci-dessus gérera vos données tout au long du cycle de préparation des données, la sécurité et la gouvernance des données jouent également un rôle essentiel dans la gestion du cycle de vie des données. . En outre, Dev Ops facilitera la création d'une plate-forme de données afin que l'entreprise reste en mouvement et évolue au fur et à mesure que les fusions et les acquisitions dominent le paysage actuel.