5 défis modernes en matière d’intégration de données et comment les DSI peuvent les surmonter

Au moment où vous aurez fini de lire cet article, 27,3 millions de téraoctets de données supplémentaires seront générés par les humains sur le Web et sur tous les appareils. Ce n’est là qu’une des nombreuses façons de définir le volume incontrôlable de données et le défi qu’il pose aux entreprises si elles n’adhèrent pas à une technologie d’intégration avancée. De même que la raison pour laquelle les données en silos constituent une menace qui nécessite une discussion distincte. Cet article sélectionne divers défis pour les solutions d’intégration existantes.

Le volume croissant de données est préoccupant, car 20% des entreprises interrogées par IDG s’appuient sur 1 000 sources ou plus pour alimenter leurs systèmes d’analyse. Par conséquent, les entités qui hésitent encore à faire le premier pas sont plus susceptibles d’être confrontées aux défis ci-dessous. L’intégration des données nécessite une refonte, qui ne peut être réalisée qu’en tenant compte des lacunes suivantes. Voici un aperçu rapide.

Sources de données disparates

Les données provenant de différentes sources se présentent sous plusieurs formats, tels qu’Excel, JSON, CSV, etc., ou dans des bases de données telles qu’Oracle, MongoDB, MySQL, etc. Par exemple, deux sources de données peuvent avoir des types de données différents pour le même champ ou des définitions différentes. pour les mêmes données de partenaire.

Les sources hétérogènes produisent des ensembles de données de formats et de structures différents. Or, divers schémas compliquent la portée de l’intégration des données et nécessitent une cartographie importante pour combiner les ensembles de données.

Les professionnels des données peuvent soit mapper manuellement les données d’une source à une autre, convertir tous les ensembles de données dans un seul format, ou les extraire et les transformer pour rendre la combinaison compatible avec d’autres formats. Tous ces éléments rendent difficile la réalisation d’une intégration significative et transparente.

Gestion des données en streaming

Les données en streaming sont continues et sans fin et consistent en une séquence ininterrompue d’événements enregistrés. Les techniques traditionnelles de traitement par lots sont conçues pour des ensembles de données statiques avec des débuts et des fins bien définis, ce qui rend difficile le travail sur des données en streaming qui circulent sans interruption. Cela complique la synchronisation, l’évolutivité, la détection des anomalies, l’extraction d’informations précieuses et l’amélioration de la prise de décision.