Si vous avez créé votre lac de données au cours des 5 à 7 dernières années, vous ingérez probablement des données dans le lac de données à l’aide de nombreuses tâches par lots qui ingèrent et mettent à jour les données dans le lac de données. Il n’y a rien de mal à ce que vous avez fait, mais la technologie des données a continué à progresser et à mon avis, le moment est venu de modifier votre stratégie d’ingestion de lacs de données pour réduire le nombre de tâches par lots à haute latence et passer principalement à l’utilisation de données réelles. capture de données de changement d’heure (CDC).
Qu’est-ce que la capture de données modifiées (CDC)
Les avantages des données en temps réel
Pendant de nombreuses années, les stratèges de données ont estimé qu’une latence de 24 heures était acceptable pour les données du lac de données qui seraient utilisées à des fins d’analyse et de création d’informations. Cependant, à mesure que les organisations sont devenues plus axées sur les données et plus dépendantes de décisions commerciales fondées sur les données, les croyances ont changé et les données en temps réel ou quasi-réel dans le lac de données offrent plusieurs avantages pour de nombreux types de cas d’utilisation. De plus, au cours des dernières années, la technologie CDC s’est améliorée, est devenue plus fiable et, dans de nombreux cas, même moins coûteuse que les outils ELT à grande échelle. Ainsi, si les organisations peuvent disposer de données en temps réel dans le lac de données, si elles peuvent réduire les coûts opérationnels d’ingestion de données et si elles peuvent faire tout cela sans augmenter la charge sur les systèmes opérationnels, il me semble que la voie est claire. Les organisations doivent mettre à jour leurs stratégies de données et s’orienter davantage vers des architectures de données basées sur la capture de données modifiées.
L’expertise en données cloud de Perficient
Les plus grandes marques mondiales choisissent de s’associer avec nous parce que nous sommes suffisamment grands pour faire évoluer des projets cloud majeurs, tout en étant suffisamment agiles pour fournir une expertise ciblée dans des domaines spécifiques de votre entreprise. Notre équipe cloud, données et analyse peut vous aider tout au long du cycle de vie de vos données et analyses, de la stratégie de données à la mise en œuvre. Nous vous aiderons à donner un sens à vos données et vous montrerons comment les utiliser pour résoudre des problèmes commerciaux complexes. Nous évaluerons vos problèmes actuels en matière de données et d’analyses et développerons une stratégie pour vous guider vers vos objectifs à long terme.
Téléchargez le guide, Devenir une organisation axée sur les données avec Google Cloud Platformpour en savoir plus sur la stratégie de données GCP du Dr Chuck
Source link