Il est temps de mettre à jour votre stratégie d’ingestion de lacs de données / Blogs / Perficient

Si vous avez créé votre lac de données au cours des 5 à 7 dernières années, vous ingérez probablement des données dans le lac de données à l’aide de nombreuses tâches par lots qui ingèrent et mettent à jour les données dans le lac de données. Il n’y a rien de mal à ce que vous avez fait, mais la technologie des données a continué à progresser et à mon avis, le moment est venu de modifier votre stratégie d’ingestion de lacs de données pour réduire le nombre de tâches par lots à haute latence et passer principalement à l’utilisation de données réelles. capture de données de changement d’heure (CDC).

Qu’est-ce que la capture de données modifiées (CDC)

Traditionnellement, les entreprises utilisaient des approches par lots pour déplacer les données une ou plusieurs fois par jour. Cependant, le déplacement par lots introduit une latence et réduit la valeur opérationnelle des données pour l’organisation. Change Data Capture (CDC) s’est imposé comme une solution idéale pour le déplacement en temps quasi réel des données depuis des bases de données relationnelles (telles que DB2, SQL Server ou Oracle) vers des sources de données opérationnelles ou des lacs de données. Change Data Capture est un processus logiciel qui identifie et suit les modifications apportées aux données dans une base de données. CDC assure le mouvement en temps réel ou quasi-réel des données suivies en déplaçant et en traitant les données en continu à mesure que de nouveaux événements de base de données se produisent. Dans les environnements de données à grande vitesse où des décisions urgentes sont prises, Change-Data-Capture est un excellent choix pour obtenir une réplication de données à faible latence, fiable et évolutive. Change-Data-Capture est également idéal pour les migrations sans temps d’arrêt vers le cloud.

Les avantages des données en temps réel

Pendant de nombreuses années, les stratèges de données ont estimé qu’une latence de 24 heures était acceptable pour les données du lac de données qui seraient utilisées à des fins d’analyse et de création d’informations. Cependant, à mesure que les organisations sont devenues plus axées sur les données et plus dépendantes de décisions commerciales fondées sur les données, les croyances ont changé et les données en temps réel ou quasi-réel dans le lac de données offrent plusieurs avantages pour de nombreux types de cas d’utilisation. De plus, au cours des dernières années, la technologie CDC s’est améliorée, est devenue plus fiable et, dans de nombreux cas, même moins coûteuse que les outils ELT à grande échelle. Ainsi, si les organisations peuvent disposer de données en temps réel dans le lac de données, si elles peuvent réduire les coûts opérationnels d’ingestion de données et si elles peuvent faire tout cela sans augmenter la charge sur les systèmes opérationnels, il me semble que la voie est claire. Les organisations doivent mettre à jour leurs stratégies de données et s’orienter davantage vers des architectures de données basées sur la capture de données modifiées.

L’expertise en données cloud de Perficient

Les plus grandes marques mondiales choisissent de s’associer avec nous parce que nous sommes suffisamment grands pour faire évoluer des projets cloud majeurs, tout en étant suffisamment agiles pour fournir une expertise ciblée dans des domaines spécifiques de votre entreprise. Notre équipe cloud, données et analyse peut vous aider tout au long du cycle de vie de vos données et analyses, de la stratégie de données à la mise en œuvre. Nous vous aiderons à donner un sens à vos données et vous montrerons comment les utiliser pour résoudre des problèmes commerciaux complexes. Nous évaluerons vos problèmes actuels en matière de données et d’analyses et développerons une stratégie pour vous guider vers vos objectifs à long terme.

Téléchargez le guide, Devenir une organisation axée sur les données avec Google Cloud Platformpour en savoir plus sur la stratégie de données GCP du Dr Chuck