Notre expérience à travers le Data Engineering Summit 2023 à Bangalore

IA est partout, mais il y a moins d’attention au moteur qui tourne derrière. Ingénierie des données est ce qui rend les bonnes données disponibles au bon moment pour tous ces cas d’utilisation de l’IA. Heureux que quelqu’un y ait pensé et organisé cet événement de 2 jours DES2023axé sur l’ingénierie des données en Bangaloreoù nous avons pu entendre des experts de l’industrie et des pairs parler de concepts en cours et évolutifs dans cet espace.

Étant une entreprise axée sur la technologie, AU NOUVEAU a toujours fait sentir sa présence dans de telles conférences à travers le monde. Cette fois, c’était le Sommet sur l’ingénierie des données dans Bangalorel’Inde sur 27-28 avril 2023 où j’ai assisté à l’événement avec d’autres ingénieurs de données Nitesh Saxena et Kedhar Natekar. Trouver et atteindre le lieu était relativement facile.

Le processus d’inscription a été rapide et la conférence a commencé vers 10 heures du matin avec la première conférence sur ‘L’ingénierie des données dans la nouvelle ère – L’IA est là, où sont vos données ?’ suivi de plusieurs autres sessions réparties sur 2 jours.

Nous avons assisté à la majorité des séances. Le sommet a présenté plus de 35 sessions, plus de 50 conférenciers de la communauté Data Engineering et plus de 10 exposants.

Les discussions étaient un bon mélange de concepts, de visions, d’études de cas, de meilleures pratiques et de tables rondes. La liste de toutes les conférences est disponible ici sur la page officielle de l’événement https://des.analyticsindiamag.com/agenda/

Nous à AU NOUVEAU aime toujours assister à des conférences car nous rencontrons de nouvelles personnes et apprenons beaucoup d’elles. Au cours de l’événement, nous avons pu réseauter avec un groupe diversifié d’individus qui sont des pionniers dans ce domaine. Ils ont partagé divers cas d’utilisation qu’ils avaient mis en œuvre dans leurs projets, nous fournissant des informations précieuses. De plus, nous avons reçu des séances de mentorat informatives de la part de leaders d’opinion de l’industrie, ce qui nous a donné de précieux conseils sous la forme de séances individuelles.

De toutes les grandes discussions, voici celles que nous avons le plus aimées :

Jour 1 :

1. ETL alors que ‘T’ perd de son éclatoù un point de vue a été présenté selon lequel les transformations dans ETL s’estompent et que la plupart d’entre elles se produisent à la source et à la cible, très peu faisant partie du pipeline.
2. Les données mangent Mar Tech pour le petit-déjeuner !qui était une session intéressante sur la façon dont l’ingénierie des données transforme les stratégies marketing.
3. Tables rondes sur « L’avenir de l’ingénierie des données : tendances et prévisions pour les 5 prochaines années » – C’était formidable d’entendre les piliers de l’industrie partager leur vision de l’avenir de l’ingénierie des données.
4. L’essor de l’architecture de maillage de données : un changement de paradigme dans l’ingénierie des données – Une session intéressante soulignant comment les architectures de plateformes de données ont évolué au fil du temps et pourquoi peu d’organisations résolvent leurs problèmes de données en utilisant l’architecture Data Mesh.
5. Construire des systèmes de traitement de données en temps réel avec Apache Kafka – Une étude de cas expliquant comment Delhivery a utilisé une approche de traitement des données en temps réel pour résoudre ses cas d’utilisation logistique.

Jour 2:

1. Data Fabric ou Data Mesh : quelle approche convient le mieux pour créer une plate-forme de données évolutive ? – Une autre session qui a consolidé nos connaissances sur ces architectures de données évolutives avec des exemples concrets.
2. Construire des lacs de données et des entrepôts de données : défis et meilleures pratiques – Une session mettant l’accent sur l’applicabilité des entrepôts de données par rapport aux lacs de données en fonction du problème en cours.
3. Ops est la nouvelle huile – Une vision intéressante de la façon dont DataOps rassemble toutes les données et résout les problèmes organisationnels de manière automatisée.
4. DataOps permettant la gestion des données – Une autre session soulignant l’importance du DataOps et du Data Management qui sont parfois oubliés par les Data Engineers au démarrage d’un projet.
5. Du traitement par lots au temps réel : création de pipelines de données en continu – Une session guidant tout le monde à travers le parcours du lot au temps réel et quand cela devrait réellement être pris en compte.

Il y a eu quelques citations intéressantes partagées autour de l’ingénierie des données par les intervenants, dont une que nous avons particulièrement appréciée ‘Si Data est le nouveau pétrole, Data Engineering est la raffinerie qui le traite’.

Outre les sessions techniques, le premier jour, nous avons eu le privilège d’entendre le légendaire Navetteur indien Prakash Padukone, lauréat du prix Padma Shree, où il a partagé son point de vue sur la façon dont la technologie change l’industrie du sport, les leçons de vie qui l’ont aidé à s’améliorer constamment et comment ces leçons aideront tous les professionnels de l’informatique.

Le long sommet de deux jours s’est terminé par une performance humoristique d’Abijit Ganguly, qui était un moyen idéal de terminer le sommet sur une note légère et positive.

Nous avons vraiment apprécié ces deux jours d’apprentissage intense et d’interactions avec les autres membres de la communauté.

En conclusion, je voudrais vous laisser avec cette image qui symbolise l’avenir prometteur de l’ingénierie des données.

L’état actuel de l’ingénierie des données peut être décrit avec précision comme un domaine qui progresse rapidement avec les technologies d’apprentissage automatique, d’intelligence artificielle et d’analyse de données. Alors que l’avenir est arrivé dans le domaine de l’ingénierie des données, les professionnels de ce domaine innovent constamment et utilisent de nouveaux outils pour aider les organisations à prendre de meilleures décisions. Avec un potentiel illimité, l’avenir de l’ingénierie des données continuera sans aucun doute à transformer les entreprises et les industries de manière sans précédent.

L’avenir est vraiment là, et chez To The New, nous nous engageons à contribuer à cet espace.

Enfin, merci à Analytique Inde Magazine pour l’organisation de ce magnifique événement. Au plaisir d’assister et de présenter dans d’autres événements de ce type à l’avenir.

TROUVÉ CELA UTILE ? PARTAGEZ-LE