Databricks sur Azure contre AWS / Blogs / Perficient

En tant que Champion de Databricks travailler pour Équipe de solutions de données de PerficientJe passe la majeure partie de mon temps à installer et à gérer les données sur Azuré et AWS. La décision sur le fournisseur de cloud à utiliser est généralement en dehors de ma portée car elle a déjà été prise par l’organisation. Cependant, il y a des occasions où le client utilise déjà les deux hyperscaleurs ou ils n’ont pas encore déménagé dans le cloud. Il heurtait dans ces situations pour pouvoir conseiller le client sur les avantages et les inconvénients d’une plate-forme par rapport à une autre du point de vue de Databricks. Je suis conscient que je saute sur Google Cloud Platform, mais TI souhaite me concentrer sur les questions qui me posent réellement plutôt que sur des questions qui pourraient être posées. Je ne plaide pas non plus pour un fournisseur de cloud par rapport à un autre. Je me limite à la question de savoir quel AWS contre Azure du point de vue de Databricks.

Avantages des databricks sur Azure

Databricks est un service de premier parti sur Azurece qui signifie qu’il jouit d’une profonde intégration avec l’écosystème Microsoft. Gestion de l’identité dans Databricks est intégré à l’authentification Azure Active Directory (AAD)qui peut gagner du temps et des efforts dans un domaine que j’ai trouvé peut être difficile dans les grandes organisations réglementées. Il en va de même pour l’intégration profonde avec le réseautage, les liens privés et les cadres de conformité d’Azure. La valeur de cette intégration est amplifiée si le client utilise également une combinaison de Azure Data Lake Storage (ADLS), Azure Synapse Analytics ou Power BI. L’intégration de Databricks avec ces produits sur Azure est transparente. Finopes obtient un coup de pouce en Azur pour les entreprises avec un Engagement de la consommation Azure (MACC) car les coûts de Databricks peuvent être appliqués à ce nombre. Sur le sujet de la gestion des coûts, les machines virtuelles Azure Spot peuvent être utilisées dans certaines situations pour réduire les coûts. Le stockage Azure Databricks et ADLS Gen2 / Blob est optimisé pour un débit élevé, ce qui réduit la latence et améliore les performances d’E / S.

Inconvénients des databricks dans Azure

Databricks et Azure sont étroitement intégrés lorsque vous restez dans l’écosystème Microsoft. Azure Databricks utilise Azure AD, le contrôle d’accès basé sur les rôles (RBAC) et les groupes de sécurité du réseau (NSGS). Ces dépendances nécessiteront des configurations supplémentaires et parfois complexes si vous souhaitez utiliser une approche hybride ou multi-cloud. Certaines de ces configurations de réseautage avancées nécessitent une licence d’entreprise ou des configurations manuelles supplémentaires sur le marché Azure.

Avantages des databricks sur AWS

Azure se concentre sur l’intégration transparente avec Databricks en supposant que l’organisation est une boutique Microsoft engagée. AWS adopte l’approche de fournir plus de cadrans à régler en échange d’une plus grande flexibilité. De plus, AWS propose une large sélection de types d’instances EC2, des options d’instance spot et un stockage S3 évolutif, ce qui peut entraîner une meilleure optimisation des coûts et des performances. Enfin, AWS a plus de types d’instances qu’Azure, y compris plus d’options pour GPU et la charge de travail optimisée par la mémoire. AWS a un modèle de tarification au point plus flexible que Azure. Le VPC Peering, Transit Gateway et un contrôle de sécurité IAM plus granulaire que Azure font des AWS un choix plus fort pour les organisations ayant des exigences de sécurité avancées et / ou des organisations engagées dans les déploiements de données de données multi-nucloud ou hybrides. De nombreuses fonctionnalités avancées sont publiées dans AWS avant Azure. Photon est un bon exemple.

Inconvénients des databricks dans AWS

Les frais AWS pour les transferts de données croisées et les opérations de lecture / écriture S3 peuvent devenir coûteuses, en particulier pour les charges de travail à forte intensité de données. Cela peut entraîner des coûts de réseautage plus élevés. AWS a également une intégration BI native plus faible lorsque vous comparez Tableau sur AWS contre Powerbi sur Azure.

Conclusion

Databricks est une base de données cloud solide sur tous les principaux fournisseurs de cloud. Si votre organisation s’est déjà engagée dans un fournisseur de cloud particulier, Databricks fonctionnera. Cependant, on m’a suffisamment interrogé sur les différences entre AWS et Azure pour que je sente que je voulais réduire toutes mes pensées en un seul endroit. Je recommande également une stratégie multi-cloud pour la plupart de nos organisations clients à des fins de reprise après sinistre et de continuité des activités.

Contactez-nous Pour discuter des avantages et des inconvénients de votre mise en œuvre prévue ou proposée de Databricks afin que nous puissions vous aider à naviguer dans les complexités techniques qui affectent la sécurité, le coût et les intégrations BI.