Fermer

Airflow

Automatisation des workflows ETL avec Apache Airflow : une solution universelle pour la gestion des données

Automatisation des workflows ETL avec Apache Airflow : une solution universelle pour la gestion des données

Introduction Une grande partie des données sont traitées quotidiennement de diverses manières, comme les transactions financières, les interactions avec les clients, les capteurs, les résultats de recherche, etc. Par exemple, les sociétés pharmaceutiques produisent des millions de données uniquement à partir d’essais cliniques. Cette énorme quantité de données doit être […]

Lire

Comment déployer Apache Airflow sur Vultr à l’aide d’Anaconda —

Comment déployer Apache Airflow sur Vultr à l’aide d’Anaconda —

Dans cet article, nous allons déployer une application Airflow dans un environnement Conda, sécuriser l’application à l’aide de Nginx et demander un certificat SSL à Let’s Encrypt. Flux d’air est un outil populaire que nous pouvons utiliser pour définir, planifier et surveiller nos flux de travail complexes. Nous pouvons créer […]

Lire

Surveiller le flux de travail avec Apache Airflow

Surveiller le flux de travail avec Apache Airflow

Apache Airflow est un outil open source permettant de créer, de planifier et de surveiller par programmation des flux de travail. C’est l’une des plates-formes les plus robustes utilisées par les ingénieurs de données pour orchestrer les flux de travail ou les pipelines. Vous pouvez facilement visualiser les dépendances, la […]

Lire