AWS EMR: Pourquoi la configuration automatisée du portail Hue et l’intégration Hadoop facilitent l’analyse des données

Introduction

Dans cette ère basée sur les données, la gestion et le traitement de plus grands volumes d’informations deviennent rapidement le besoin de l’heure. La plupart d’entre nous connaissent la réduction de la carte élastique AWS (DME) pour le traitement et l’analyse. L’un des points forts du DME a été la diminution de la douleur de la mise en place d’outils d’analyse comme Hue, qui pourrait être douloureux à installer et à configurer par vous-même. Dans ce blog, nous discuterons de la façon dont AWS EMR facilite ce processus et résout les défis communs de l’équipe de données.

Qu’est-ce que AWS EMR?

Dans ce contexte, AWS EMR est un service basé sur le cloud qui offre une utilisation facile des frameworks de Big Data comme Apache Hadoop, Apache Spark et Presto. Il peut traiter d’énormes ensembles de données rapidement et économiques en tirant parti de l’évolutivité et de la flexibilité du nuage AWS.

À partir du tableau de bord AWS, la création d’une étape de cluster AWS EMR est simple. Voici une procédure détaillée pour vous aider à démarrer:

Étape 1: Connectez-vous à votre console de gestion AWS

• Accédez à la console de gestion AWS.
• Connectez-vous avec vos informations d’identification de compte AWS.

Étape 2: Accédez à EMR

• Accédez à la console de gestion AWS et tapez le mot-clé EMR dans la barre de recherche.
• Sélectionnez Amazon EMR pour accéder à la console EMR.

Étape 3: Créez un cluster

• Cliquez sur le bouton Créer un cluster.

Étape 4: Définition des configurations de clusterOptions de base

• Nom du cluster: Entrez un nom pour votre cluster.
• Libérer: Sélectionnez la version de version EMR. La plupart du temps, il est préférable de choisir la version stable la plus récente.

Applications

Dans les applications: Choisissez les applications que vous souhaitez exécuter. Les sélections courantes comprennent:

• Hadoop
• Étincelle
• Ruche
• Hue (si vous voulez une interface Web)

Configuration matérielle

Type d’instance – Choisissez les types d’instructions pour les nœuds maître et central. Les choix courants sont:

• Maître:M5.xlarge (ou similaire).
• Cœur: M5.xlarge (ou similaire).
• Compte d’instance : Spécifiez les comptes d’instance de base et de tâche pour une configuration simple, vous pouvez commencer par un maître et deux nœuds de travail.

Réseau

• Sélectionnez un VPC – Le cloud privé virtuel pour le cluster qui définit ceci au préalable serait le meilleur.
• Sous-réseau:Choisissez un sous-réseau dans votre VPC où votre cluster fonctionnera.

Étape 5: la configuration des titres

• Paire de clés EC2: Utilisez une paire de clés EC2 existante ou créez-en une nouvelle. Cette clé sera importante lors de l’accès à votre cluster sur SSH.
• Je rôle : Un rôle IAM, qui est une identité AWS avec des politiques d’autorisation qui déterminent les ressources à laquelle l’identité peut accéder, doit être sélectionnée ou créée pour votre cluster avec les autorisations nécessaires pour communiquer avec d’autres services AWS.

Étape 6: Actions bootstrap (facultative)

Si vous souhaitez installer un logiciel ou des bibliothèques personnalisés au début du cluster, vous pouvez spécifier des actions bootstrap ici.

Étape 7: Revoir et créer

• Passez en revue tous vos paramètres. Assurez-vous que tout est configuré correctement.
• Pour démarrer le processus de cluster Créer, cliquez sur Créer un cluster.
• Dans cet esprit, passez à l’étape suivante.

Étape 8: Surveillez la création de grappes

• Après avoir créé le cluster, quelques minutes sont prises pour provisionner le cluster.
• Vous pouvez afficher l’état de votre cluster dans la console EMR. Attendez que le cluster passe du «démarrage» à «l’exécution».

Étape 9: Accédez à votre cluster

Après le début du cluster, vous pouvez y accéder via SSH en utilisant la paire de clés EC2 que vous avez sélectionnée.

Connexion au nœud maître:

ssh -i your-key. ‘pem hadoop@master-node-public-dns

Étape 10: Utilisez Hue (facultatif)

• Si vous avez installé Hue-L’interface Web Hue peut désormais être atteinte en accédant à l’adresse DNS publique du nœud maître:
• Solution de contournement: Solution proposée (accéder au nœud maître via le DNS public) http: // Master-node-Public-DNS: 8888
• Commencez à interroger via Hue et vous pouvez également gérer vos données.

Étape 11: terminer le cluster

• Une fois terminé, n’oubliez pas de résilier votre cluster pour éviter les frais de fonctionnement du cluster:
• Retournez à la console EMR.
• Choisissez votre cluster et appuyez sur Terminer.

Flux de travail EMR

Comprendre Hadoop

Hadoop est un cadre open source développé par Apache pour le traitement de grands ensembles de données via un cluster informatique distribué avec un modèle de programmation simple. Il se compose de:

• Système de fichiers distribué Hadoop (HDFS): Il s’agit d’un système de stockage de fichiers distribué qui stocke les données sur plusieurs machines avec un accès à haut débit aux données d’application
• Fil (encore un autre négociateur de ressources): La couche de gestion des ressources de Hadoop est responsable de la planification des tâches et de la gestion des ressources en cluster.
• MapReduce: Un modèle de programmation pour le traitement et la génération de grands ensembles de données avec un algorithme parallèle et distribué.

Hadoop est conçu pour passer d’un seul serveur à des milliers de machines, ce qui en fait un outil incroyablement robuste pour le traitement des données.

Le défi de la configuration manuelle

La configuration d’un environnement de traitement des données nécessite généralement plusieurs étapes:

• Configuration du cluster: Le processus de spécification des types, tailles et configurations d’instructions peut être fastidieux.
• Installation d’outils Installation manuelle et configuration d’outils tels que Hue, qui propose une interface Web pour le traitement des données.
• Intégration: Il peut être difficile de s’assurer que divers composants (par exemple, Hadoop, Hive, Spark) fonctionnent en douceur.

Comparaison de la configuration manuelle de Hadoop contre AWS EMR

Comment AWS EMR facilite le processus

Configuration automatisée du portail des teintes

La teinte d’Aws Emr est l’une de ses meilleures fonctionnalités. Vous pouvez facilement activer Hue pendant la configuration du cluster lorsque vous créez un nouveau cluster EMR. Ce déploiement automatisé signifie qu’il n’est pas nécessaire de l’installer manuellement et de les configurer pour s’exécuter, de sorte que les scientifiques des données ou les analystes peuvent se concentrer sur les choses qui comptent le plus – obtenir des informations sur les données.

Interface de teinte

Ces complications peuvent entraîner des retards, des erreurs de configuration et des dépassements de coûts.

Avec AWS EMR, la mise à l’échelle de votre cluster devient facile, vers le haut ou vers le bas. Vous augmentez ou diminuez les ressources selon les besoins en charge de travail avec un minimum de temps d’arrêt. Cette flexibilité signifie que vous pouvez traiter les données en vrac pendant les délais de pointe et la baisse lorsque la demande s’allonge, l’optimisation des coûts.

Solutions rentables

AWS EMR vous facture uniquement pour votre utilisation. Vous pouvez faire tourner des clusters pour des projets à court terme sans avoir à investir dans des infrastructures à long terme. Le modèle de tarification à la demande permet aux organisations d’expérimenter l’analyse des données sans encourir de coûts lourds.

Surveillance et gestion faciles

AWS propose des outils de surveillance tels qu’Amazon CloudWatch, qui peuvent surveiller les performances et la santé de vos clusters EMR. Cela vous permet de déterminer et de corriger facilement les erreurs, en gardant le pipeline pour le traitement de vos données en marche en douceur.

Organigramme de flux de travail de traitement des données AWS EMR

Résoudre des problèmes courants avec le DME

• Complexité: Les configurations manuelles peuvent créer des complexités qui ne sont pas faciles à dépanner. Cette complexité est réduite par les processus automatisés d’EMR.
• Consommation temporelle: La configuration du traitement des données peut prendre du temps. La configuration simple d’EMR accélère le temps de valeur.
• Optimisation des coûts:EMR évolue à la demande, en évitant le gaspillage des ressources et l’optimisation des coûts.
• Courbe d’apprentissage:La simplicité d’outils comme Hue permet aux personnes moins techniques d’accéder et de comprendre les données, ce qui conduit finalement à une plus grande collaboration entre les équipes.

Conclusion

AWS EMR simplifie la façon dont les organisations gèrent les mégadonnées en réduisant la nécessité de configurer et de gérer les outils d’analyse. EMR propose des processus d’installation automatisés, une intégration transparente et des solutions rentables qui permettent aux équipes de se concentrer sur l’analyse des données, et non la gestion des infrastructures. AWS EMR permet aux organisations de réaliser une meilleure valeur de leurs données, permettant des idées et des innovations stimulantes avec un minimum de friction.

Vous avez trouvé cela utile? PARTAGEZ-LE