Microsoft ne parvient pas à répondre à la demande d’IA dans le cloud – pour l’instant

Avec des technologies immatures telles que l’IA générative, Microsoft et ses concurrents sont confrontés à des défis pour prévoir avec précision les changements de la demande, selon Dhaval Moogimane, responsable des pratiques de haute technologie et de logiciels de la société de services numériques West Monroe. Même si des écarts occasionnels entre la capacité et la demande peuvent persister, il est peu probable qu’ils se manifestent sous la forme d’un problème prolongé ou systémique susceptible d’entraîner une hausse des prix, a déclaré Moogimane.

Au lieu de cela, a déclaré Shimmin, Microsoft et d’autres hyperscalers auront probablement recours à d’autres tactiques pour gérer la demande, telles que la réduction des temps de réponse pour les clients payant moins ou l’utilisation de l’inférence par lots, un processus dans lequel des prédictions sont faites, stockées, puis présentées sur demande. . Cela peut être plus efficace que l’inférence en ligne ou dynamique, où les prédictions sont générées en temps réel.

Selon Shimmin, l’inférence par lots, en particulier pour la prise en charge des appels d’API, devient rapidement « une chose » parmi les fournisseurs d’hébergement de modèles.

Les clients ne devraient pas être surpris par les déséquilibres entre l’offre et la demande dans le cloud computing, selon Rijo George Thomas, analyste chez IDC : ils ne sont pas nouveaux et les entreprises s’en plaignent depuis le début de la pandémie de Covid. « Les enquêtes Wave d’IDC ont révélé que les contraintes de la chaîne d’approvisionnement étaient l’une des principales préoccupations, du moins pour les responsables informatiques de la région Asie-Pacifique, affectant leurs stratégies technologiques et leurs budgets », a déclaré Thomas.