Surveillance Hadoop avec Datadog | AU NOUVEAU BLOG

Récemment, j’ai intégré la surveillance de Hadoop avec Datadog. L’objectif principal de la surveillance est de surveiller le cluster pour vérifier s’il fonctionne correctement et de vérifier d’autres services de Hadoop comme la santé du gestionnaire de nœuds, la santé de l’espace disque, etc.

Datadog est un outil qui vous permet de surveiller l’infrastructure cloud, les hôtes Windows et Linux, les processus système, les fonctions sans serveur et les applications basées sur le cloud. Il peut être utilisé pour visualiser des données, explorer des métriques, gérer les journaux et effectuer diverses autres tâches.

Quels types de suivi peut-on effectuer ?

Datadog est idéal pour les entreprises qui ont besoin de :

1. Surveillance du cloud
2. Service de surveillance des performances du serveur
3. Outils de surveillance des serveurs
4. Analyse de l’utilisation du serveur
5. Plus de 80 intégrations clé en main pour l’agrégation de données
6. Notifications d’alerte par e-mail et PagerDuty
7. Accès complet à l’API
8. Superposer des métriques et des événements sur des sources disparates
9. Un moyen simple de calculer des taux, des ratios, des moyennes ou des intégrales
10. Intervalles d’échantillonnage de 10 secondes
11. Outils pour la collaboration en équipe

Commencer

DataDog intégré à Hadoop

La première chose à faire est d’installer l’agent DataDog sur l’hôte pour activer les services Data Dog –

Exécutez la commande ci-dessous sur votre hôte et transmettez la clé API DD –

Configurer l’agent

Nous devrons créer des fichiers de configuration d’agent pour notre Hadoop. Dans le répertoire de l’agent datadog, nous trouverons des fichiers de configuration de modèles pour NameNode, DataNodes, MapReduce et YARN, dont les services s’exécutent sur leurs ports par défaut (50075 pour DataNodes, 50070 pour NameNode, 8088 pour ResourceManage).

Sous le répertoire Conf.d dans le répertoire de l’agent datadog, nous pouvons trouver plusieurs répertoires des services que nous souhaitons surveiller.

Pour Moniting Name Node, allez dans le répertoire Namenode et essayez de copier le fichier d’exemple de conf dans le fichier conf.yaml –

cp hdfs_namenode.yaml.example hdfs_namenode.yaml

Modifiez le fichier conf.yaml et transmettez le hdfs_namenode_jmx_uri – à partir de l’URL de votre nœud de nom

Une fois que c’est fait, redémarrez l’agent datadog et publiez-le pour vérifier l’état.

sudo service datadog-agent restart

sudo service datadog-agent status

Vous verrez les métriques du nœud Nom ci-dessous –

De la même manière, nous pouvons surveiller le fil et d’autres services et voir les mesures du fil ci-dessous :

Nous pouvons également créer des moniteurs pour toutes les métriques que nous souhaitons en accédant simplement à Data Dog et en accédant au moniteur en mettant les détails des métriques et en activant les alertes –

Conclusion

La surveillance de Hadoop avec Datadog est une solution puissante pour les organisations qui souhaitent obtenir des informations plus approfondies sur leur infrastructure Big Data et garantir ses performances optimales. Datadog fournit un ensemble complet d’outils et de fonctionnalités tels qu’une visibilité complète, des alertes et des notifications, l’optimisation des ressources, l’analyse des données historiques, des temps d’arrêt réduits et des performances améliorées.

VOUS TROUVEZ CECI UTILE ? PARTAGEZ-LE