Dans le premier article de cette série, j'ai parlé de la création d'un camp d'entraînement Big Data en République dominicaine à un groupe important d'étudiants très intelligents. Dans cet article, je passerai en revue les outils et techniques de base qui, selon moi, sont les plus pertinents sur le marché du travail. Ce sont des outils de base que la plupart connaissent déjà, mais je veux montrer comment ces outils de base sont étendus lorsque vous travaillez en équipe. Mon objectif est de faire en sorte que tout le monde se familiarise avec une famille particulière d’outils plutôt qu’avec l’outil spécifique qu’ils pourraient utiliser dans une entreprise. Par exemple, j'ai choisi GitHub sur BitBucket. Atlassian possède un écosystème d'entreprise, mais il n'est pas gratuit à tous les niveaux. GitHub dispose d'un marché suffisant pour comprendre les bases du cycle CI / CD.
Think Local
Docker
La méthode préférée pour faire de nouvelles choses qui ne fonctionnent pas bien, c'est le faire dans un récipient jetable. Cela présente deux grands avantages: vous ne pouvez pas détruire votre machine et vous pouvez envoyer l’image à une autre personne dès qu’elle fonctionne, et cela fonctionnera certainement sur leur ordinateur.
Git
Nous utiliserons git et GitHub pour le contrôle des sources et le processus GitHub Flow dans ce tutoriel. Je recommande de passer par la Git de la formation CLI pour comprendre comment travailler avec git et github à partir de la ligne de commande.
Act Global
, mais vous faites partie d'une équipe maintenant. De plus, en exposant leurs API, ces différents fournisseurs fonctionnent très bien ensemble, ce qui vous rend la vie beaucoup plus facile.
Docker Hub
La plupart des utilisateurs sont habitués à extraire des images de Docker Hub. veulent avoir les leurs . Comme vous pouvez probablement l'imaginer maintenant, je veux que vous créiez votre propre dépôt de concentrateur Docker.
GitHub
Je recommande de suivre la formation à la demande de GitHub GitHub.
Vous devrez effectuer les opérations suivantes:
C'est le genre de chose que la plupart des développeurs ont fait eux-mêmes. Vous vous différenciez dans l'entreprise en développant des disciplines dynamiques. À partir de maintenant, utilisez GitFlow . Même lorsque vous n’avez pas à le faire. Surtout quand vous n’avez pas à le faire. Vous vous battez comme vous vous entraînez, alors ne laissez pas les mauvaises habitudes devenir votre zone de confort.
Maintenant, relions les deux. Si vous stockez vos fichiers Dockerfiles dans Github, vous pouvez configurer un pipeline où ils peuvent automatiquement mettre à jour DockerHub lorsque vous vérifiez le code dans Master après une requête d'extraction réussie dans GitHub.
Intégrer GitHub avec Docker Hub pour créer un pipeline pour déployer des fichiers Docker, vous devrez configurer le service Docker.
Et peut-être même au-delà de
Vous aurez besoin d'une carte de crédit ou de débit pour configurer un compte Cloud. Nous n'utiliserons que le niveau gratuit pour cette classe. Si vous n’avez pas de carte de crédit ou de débit, ne vous inquiétez pas. Nous continuerons à créer des grappes locales.
Dans ce cours, nous évaluerons les déploiements multi-cloud à partir du premier jour. Alors que la plupart des entreprises reconnaissent la valeur potentielle de la migration vers le cloud, il est toujours préoccupant de mettre tout le portefeuille technologique d’une entreprise en un seul fournisseur. Ainsi, bien que la gestion de plusieurs fournisseurs de cloud entraîne des frais administratifs supplémentaires, une séparation judicieuse des préoccupations peut constituer un argument commercial plus solide. Nous utiliserons Google Cloud Platform pour déployer notre cluster Hadoop à l'aide de Docker dans Kubernetes et envoyer des données traitées à Amazon Web Services afin de fournir des données à Lambda.
Amazon Web Services
Si vous envisagez de tirer parti du cloud éléments basés sur la formation, vous devez installer Google Cloud Build . Ceci sera configuré pour générer des images Docker sur Google Cloud Platform lorsque les fichiers Dockerfiles seront validés sur la branche principale. Ceci est facultatif, mais sert à montrer l'importance de l'intégration continue / déploiement continu (CI / CD) à l'entreprise moderne.
Google Cloud Platform
Étapes suivantes du bootcamp Big Data
] premier post nous préparons le terrain pour ce que j’espère pouvoir fournir dans cette série. Dans cet article, je vous ai fait parcourir beaucoup de liens et faire beaucoup d’installation. À partir du prochain article, nous allons faire du code en utilisant ces outils. En fait, nous allons installer une instance locale de Hadoop directement depuis Apache .
Source link