Nvidia AI Enterprise ajoute des microservices d’IA génératifs

La version 5.0 de la plate-forme logicielle d’IA d’entreprise de Nvidia comportera un assortiment de microservices conçus pour accélérer le développement d’applications et fournir des moyens rapides d’accélérer les déploiements, a annoncé aujourd’hui la société lors de sa conférence sur la technologie GPU.

Ces microservices sont fournis sous forme de conteneurs logiciels téléchargeables utilisés pour déployer des applications d’entreprise, a déclaré Nvidia dans un article de blog officiel. Ils sont divisés en deux catégories principales : Nvidia NIM, qui couvre les microservices liés au déploiement de modèles d’IA de production, et CUDA-X, pour les microservices comme cuOpt, le moteur d’optimisation de l’entreprise.

Pour les microservices NIM, l’accent est mis sur les délais de déploiement des applications d’IA générative, qui, selon la société, peuvent être réduits « de quelques semaines à quelques minutes » grâce à ses services. Les microservices incluent Triton Inference Server pour standardiser le déploiement de modèles d’IA et TensorRT-LLM pour aider à optimiser et définir de grands modèles de langage, permettant ainsi aux entreprises d’expérimenter plus facilement les LLM sans avoir à se plonger dans C++ ou Nvidia CUDA. Ils seront accessibles via Amazon SageMaker, Google Kubernetes Engine et Microsoft Azure AI, et les intégrations avec des frameworks d’IA comme Deepset, LangChain et LlamaIndex sont également prises en charge.

Les microservices CUDA-X, en revanche, sont davantage axés sur la préparation des données et la formation de modèles, ainsi que sur les outils permettant aux développeurs de lier leurs applications d’IA générative aux données commerciales, qu’il s’agisse d’informations numériques, de texte ou d’images. D’autres microservices de cette catégorie sont presque des applications à part entière, comme Nvidia Riva pour l’IA de traduction et de parole, cuOpt susmentionné pour l’optimisation des processus et du routage et Earth-2 pour les simulations climatiques et météorologiques.

De nombreuses autres intégrations seront également prévues pour AI Enterprise 5.0, a indiqué la société. Les données commerciales hébergées sur Box, Cloudera, Cohesity, Datastax et autres peuvent être utilisées dans les applications d’IA à partir de la version 5.0, et le matériel alimenté par Nvidia peut être trouvé dans les serveurs et les PC de la plupart des principaux fournisseurs, notamment Dell, HPE et Lenovo.

Nvidia a décrit les microservices comme une nouvelle couche de sa plate-forme informatique full-stack, connectant les développeurs de modèles aux fournisseurs de plates-formes et aux entreprises et fournissant un chemin standardisé pour exécuter des modèles d’IA personnalisés sur les cloud, les centres de données, les postes de travail et les PC.