Même s'ils existent depuis des années, l'expression « benchmarks MLPerf » a peu de sens pour la plupart des gens en dehors de la communauté des développeurs d'IA. Cependant, cette suite de tests pilotée par la communauté, qui mesure les performances d'un large éventail de tâches d'apprentissage automatique (ML), devient rapidement la référence en matière d'évaluation juste et impartiale des solutions informatiques accélérées pour la formation en apprentissage automatique, l'inférence et les hautes performances. informatique (HPC).
L'ère de MLPerf est arrivée et tout le monde devrait y prêter attention.
Les organisations de tous les secteurs s'efforcent de tirer parti de l'IA et de l'apprentissage automatique pour améliorer leurs activités. Selon Karl Freund, fondateur et analyste principal chez Cambrian AI Research, les entreprises doivent s'attendre à ce que la demande des clients pour des résultats accélérés par l'IA continue de croître.
"Nous prévoyons que l'IA deviendra endémique, présente dans toutes les applications numériques des centres de données, de la périphérie et des appareils grand public", a déclaré Freund. "L'accélération de l'IA ne sera bientôt plus une option. Il sera nécessaire dans chaque serveur, ordinateur de bureau, ordinateur portable et appareil mobile. »
Cependant, choisir les bonnes solutions – celles qui maximisent l'efficacité énergétique, la longévité et l'évolutivité – peut s'avérer difficile face à des centaines, voire des milliers, d'options matérielles, logicielles et réseau pour les systèmes informatiques accélérés.
Avec cette croissance rapide de l'industrie, associée à la complexité de la construction d'un flux de travail IA/ML moderne, les leaders de l'industrie et du monde universitaire se sont réunis pour créer un moyen juste et impartial de mesurer les performances des systèmes d'IA : MLPerf.
Administré parMLCommons , un consortium industriel comptant plus de 100 membres, MLPerf est utilisé par les fournisseurs de matériel et de logiciels pour mesurer les performances des systèmes d'IA. Et, comme la mission de MLPerf est de "construire des références justes et utiles" qui fournissent des évaluations impartiales des performances de formation et d'inférence dans des conditions prescrites, les clients finaux peuvent s'appuyer sur ces résultats pour éclairer les choix architecturaux de leurs systèmes d'IA.
MLPerf évolue également constamment pour représenter l'état de l'art en matière d'IA, avec des mises à jour régulières des réseaux et des ensembles de données, et une cadence régulière de publication des résultats.
Benchmarks MLPerf déconstruits
Malgré les nombreux avantages, les résultats des séries d'analyse comparative MLPerf n'ont pas attiré l'attention à laquelle on pourrait s'attendre compte tenu de l'adoption rapide des solutions d'IA à l'échelle de l'industrie. La raison en est simple : l'interprétation des résultats de MLPerf est difficile et nécessite une expertise technique importante pour l'analyse.
Les résultats de chaque cycle de MLPerf sont rapportés dans des feuilles de calcul de plusieurs pages et ils incluent un déluge d'informations de configuration matérielle telles que le type de processeur, le nombre de sockets de processeur, le type et le nombre d'accélérateurs et la capacité de la mémoire système.
Pourtant, malgré la complexité, les résultats contiennent des informations essentielles qui peuvent aider les dirigeants à prendre les décisions d'achat qui accompagnent l'exécution ou le développement de l'infrastructure d'IA d'une organisation.
Pour commencer, il existe cinq suites de benchmarks MLPerf distinctes : MLPerf Training, MLPerf Inference et MLPerf HPC, avec des catégories supplémentaires de MLPerf Mobile et MLPerf Tiny récemment introduites. Chaque année, il y a deux cycles de soumission pour la formation MLPerf et l'inférence MLPerf, et un seul cycle pour MLPerf HPC.
La dernière édition de MLPerf Training – MLPerf Training v1.1 – se compose de huit benchmarks qui représentent bon nombre des charges de travail d'IA les plus courantes, y compris les systèmes de recommandation, le traitement du langage naturel, l'apprentissage par renforcement, la vision par ordinateur, etc. La suite de benchmark mesure le temps nécessaire pour former ces modèles d'IA ; plus vite un nouveau modèle d'IA peut être formé, plus vite il peut être déployé pour offrir une valeur commerciale.
Une fois qu'un modèle d'IA est formé, il doit être mis en œuvre pour faire des prédictions utiles. C'est le rôle de l'inférence, et MLPerf Inference v1.1 se compose de sept points de référence qui mesurent les performances d'inférence dans une gamme de cas d'utilisation populaires, y compris le traitement du langage naturel, la synthèse vocale, l'imagerie médicale, la détection d'objets, entre autres. L'objectif global est de fournir des informations sur les performances pour deux situations de déploiement courantes : le centre de données et la périphérie.
Et, enfin, alors que le HPC et l'IA convergent rapidement, MLPerf HPC est une suite de trois cas d'utilisation conçus pour mesurer les performances de formation de l'IA pour les modèles applicables aux charges de travail scientifiques, en particulier l'astrophysique, la science du climat et la dynamique moléculaire.
Prendre des décisions basées sur les données
Lorsque vous effectuez des investissements technologiques coûteux, il est essentiel de disposer de données fiables pour prendre une bonne décision. Cela peut être difficile lorsque de nombreux fournisseurs de matériel font des déclarations de performances sans inclure suffisamment de détails sur la charge de travail, le matériel et les logiciels qu'ils ont utilisés. MLPerf utilise les meilleures pratiques d'analyse comparative pour présenter des données de performances examinées par des pairs, vérifiées et documentées sur une grande variété de charges de travail standard de l'industrie, où les systèmes peuvent être directement comparés pour voir comment ils s'empilent réellement. Les données MLPerf des benchmarks doivent faire partie de tout processus d'évaluation de plate-forme pour éliminer les conjectures de performance et de polyvalence des décisions de déploiement de solution.
En savoir plus sur l'IA et le HPC auprès des experts de NVIDIA GTC
De nombreux sujets liés à MLPerf seront abordés – et les partenaires NVIDIA impliqués dans les benchmarks participeront également – lors de l'événement GTC virtuel gratuit de NVIDIA, qui se déroule du 21 au 24 mars et propose plus de 900 sessions avec 1 400 intervenants.
Pour plus d'informations sur le calcul accéléré et le rôle de MLPerf,inscrivez-vous pour rejoindre l'événement GTC virtuel gratuit d'experts NVIDIAqui se déroule du 21 au 24 mars et propose plus de 900 sessions avec 1 400 intervenants parlant d'IA, de centres de données accélérés, de HPC et de graphiques.
Les meilleures sessions incluent :
Accélérez votre parcours IA et HPC sur Google Cloud (présenté par Google Cloud)[session S42583]
Définition d'enregistrements HPC et d'apprentissage en profondeur dans le cloud avec Azure[session S41640]
Une plongée approfondie dans le dernier logiciel HPC[session S41494]
Source link