Les organisations se tournent vers des logiciels open source pour améliorer les applications HPC et IA

Le calcul haute performance (HPC) devient courant pour les organisations, stimulé par leur utilisation croissante de l’intelligence artificielle (IA) et de l’analyse de données. Une étude de 2021 par Recherche Insect360 ont constaté que 81 % des organisations qui utilisent le HPC ont déclaré qu’elles utilisaient l’IA et l’apprentissage automatique ou qu’elles prévoyaient de les mettre en œuvre prochainement. Cela se produit à l’échelle mondiale et contribue aux dépenses mondiales en HPC qui devraient dépasser 59,65 milliards de dollars en 2025, selon Recherche Grandview.

Simultanément, l’intersection des flux de travail HPC, IA et analytiques met la pression sur les administrateurs système pour qu’ils prennent en charge des environnements toujours plus complexes. Les administrateurs sont invités à effectuer des configurations et des reconfigurations manuelles fastidieuses des serveurs, du stockage et de la mise en réseau lorsqu’ils déplacent des nœuds entre des clusters pour fournir les ressources nécessaires aux différentes demandes de charge de travail. La prolifération des clusters qui en résulte consomme des quantités excessives de ressources informatiques.

La réponse? Pour de nombreuses organisations, il s’agit d’une plus grande dépendance aux logiciels open source.

Récolter les avantages des logiciels open source et des communautés

Les développeurs de certaines organisations ont constaté que les logiciels open source sont un moyen efficace de faire progresser la pile logicielle HPC au-delà des limites d’un seul fournisseur. Apache Ignite, Open MPI, OpenSFS, OpenFOAM et OpenStack sont des exemples de logiciels open source utilisés pour le HPC. Presque tous les principaux fabricants d’équipement d’origine (OEM) participent au OpenHPC communauté, ainsi que les principaux fournisseurs de logiciels indépendants (ISV) HPC et les meilleurs

Sites CHP.

Des organisations comme Calcul de recherche de l’Université d’État de l’Arizona se sont tournés vers des logiciels open source comme Omniaun ensemble d’outils permettant d’automatiser le déploiement de la gestion de la charge de travail Slurm et Kubernetes open source ou accessible au public, ainsi que des bibliothèques, des frameworks, des opérateurs, des services, des plates-formes et des applications.

La Pile logicielle Omnia a été créé pour simplifier et accélérer le processus de création d’environnements pour des charges de travail mixtes en supprimant les étapes manuelles qui peuvent ralentir le provisionnement et entraîner des erreurs de configuration. Il a été conçu pour accélérer et simplifier le processus de déploiement et de gestion des environnements pour les charges de travail mixtes, y compris la simulation, le calcul à haut débit, l’apprentissage automatique, l’apprentissage en profondeur et l’analyse de données.

Les membres de la communauté des logiciels open source contribuent aux mises à jour du code et de la documentation pour les demandes de fonctionnalités et les rapports de bogues. Ils fournissent également des forums ouverts pour des conversations sur des idées de fonctionnalités et des solutions de mise en œuvre potentielles. Au fur et à mesure que le projet open-source grandit et se développe, le comité de gouvernance technique fait de même, avec une représentation des principaux contributeurs et parties prenantes.

« Nous avons des ingénieurs ASU dans mon équipe qui travaillent directement avec les ingénieurs Dell de l’équipe Omnia », a déclaré Douglas Jennewein, directeur principal de l’informatique de recherche de l’Arizona State University (ASU). « Nous travaillons sur le code et fournissons des commentaires et des orientations sur ce que nous devrions examiner ensuite. Ce fut un effort très gratifiant… Nous ouvrons non seulement la voie à l’ASU, mais aussi la voie à l’informatique avancée.

Les équipes ASU utilisent également Ouvrir à la demande, un portail HPC open source qui permet aux utilisateurs de se connecter à un cluster HPC via un terminal Secure Shell Protocol (SSH) traditionnel ou via une interface Web qui utilise Open OnDemand. Une fois connectés, ils peuvent charger et télécharger des fichiers ; créer, modifier, soumettre et surveiller des travaux ; exécuter des applications ; et plus via un navigateur web dans une expérience de type cloud sans logiciel client à installer et à configurer.

Quelques nouvelles fonctionnalités du logiciel Open Source pour HPC

Voici un échantillon de certaines des dernières fonctionnalités des logiciels open source disponibles pour les développeurs d’applications HPC.

• Modifiez dynamiquement l’environnement d’un utilisateur en ajoutant ou en supprimant des répertoires dans la variable d’environnement PATH. Cela facilite l’exécution de logiciels spécifiques dans des dossiers spécifiques sans mettre à jour la variable d’environnement PATH ni redémarrer. C’est particulièrement utile lorsque des applications tierces pointent vers des versions conflictuelles des mêmes bibliothèques ou objets.
• Choix du système d’exploitation hôte (OS) provisionné sur métal nu. La vitesse et la précision des applications sont intrinsèquement affectées par le système d’exploitation hôte installé sur le nœud de calcul. Cela fournit des options bare metal de différents systèmes d’exploitation dans le laboratoire pour pouvoir choisir celui qui fonctionne de manière optimale à un moment donné et le mieux adapté à une application HPC.
• Fournissez un stockage en mode bloc à faible coût qui utilise nativement le système de fichiers réseau (NFS). Cela ajoute une évolutivité flexible et est idéal pour le stockage persistant à long terme.
• Utilisez la télémétrie et la visualisation sur Red Hat Enterprise Linux. Les utilisateurs de Red Hat Enterprise Linux peuvent tirer parti des fonctionnalités de télémétrie et de visualisation pour afficher la consommation d’énergie, les températures et d’autres mesures opérationnelles. Prise en charge du contrôleur BOSS RAID. Baie redondante de disques indépendants (RAID) utilisent plusieurs disques pour répartir la charge d’E/S et sont souvent préférées par les développeurs HPC.

Les avantages des logiciels open source pour le HPC sont considérables. Ils incluent la possibilité de déployer plus rapidement, d’exploiter des pools fluides de ressources et d’intégrer une gestion complète du cycle de vie pour l’analyse unifiée des données, l’IA et les clusters HPC.

Pour plus d’informations et pour contribuer à la Communauté Omniaqui comprend Dell, Intel, des environnements de recherche universitaire et bien d’autres, visitez le Tout sur github.

***

Les technologies Intel® font avancer l’analytique

L’analyse des données est la clé pour débloquer le maximum de valeur que vous pouvez extraire des données de votre organisation. Pour créer une stratégie d’analyse productive et rentable qui donne des résultats, vous avez besoin d’un matériel hautes performances optimisé pour fonctionner avec le logiciel que vous utilisez.

L’analyse de données moderne couvre une gamme de technologies, des plates-formes et bases de données d’analyse dédiées à l’apprentissage en profondeur et à l’intelligence artificielle (IA). Vous débutez avec l’analytique ? Prêt à faire évoluer votre stratégie d’analyse ou à améliorer la qualité de vos données ? Il y a toujours de la place pour évoluer et Intel est prêt à vous aider. Avec un vaste écosystème de technologies d’analyse et de partenaires, Intel accélère les efforts des data scientists, des analystes et des développeurs dans tous les secteurs. En savoir plus sur Analyses avancées d’Intel.