Stockage : le héros méconnu des déploiements d’IA

Alors que les entreprises commencent à déployer et à utiliser l’IA, nombreuses sont celles qui réalisent qu’elles auront besoin d’accéder à une puissance de calcul massive et à des capacités de mise en réseau rapides, mais les besoins en stockage risquent d’être négligés.

La mise en place d’un chatbot ou l’adoption d’un assistant IA ne risquent pas de mettre à rude épreuve les capacités de stockage de la plupart des entreprises, mais les grands projets d’IA ayant accès à des millions de points de données peuvent nécessiter plusieurs téraoctets de nouveau stockage, coûtant potentiellement des dizaines de millions de dollars, selon certaines IA. et disent les experts en stockage.

Il existe une poignée d’options de stockage, et pour certaines fonctions d’IA, le stockage dans le cloud ou les disques durs traditionnels peuvent suffire, explique Jeffrey Necciai, directeur technique de Duos Technologies, qui utilise l’IA avec imagerie pour inspecter les wagons en mouvement.

Mais pour les systèmes d’IA qui doivent fournir des réponses ou des informations instantanées, les disques durs et le stockage cloud situés à des centaines de kilomètres de l’emplacement des charges de travail d’IA peuvent être trop lents, affirment Necciai et d’autres experts.

Par exemple, Duos Technologies fournit un avis sur les wagons dans les 60 secondes suivant la numérisation du wagon, explique Necciai. Dans ce cas, Duos a besoin d’un stockage ultra-rapide qui fonctionne parallèlement à ses unités informatiques IA.

« Si vous avez une roue cassée, vous voulez le savoir tout de suite », dit-il. « Nous ne traitons pas nécessairement quoi que ce soit dans le cloud, car nous ne voulons évidemment pas de latence. Nous devons diffuser cette information le plus rapidement possible.

Pas seulement la taille du disque

Les entreprises qui envisagent de grands projets d’IA doivent prendre en compte à la fois la quantité de stockage dont elles ont besoin et la capacité de leur stockage à gérer plusieurs tâches en même temps, explique Necciai.

« Nous devons écrire rapidement dans le stockage en même temps pour plusieurs threads, et nous devons lire rapidement à partir du stockage d’histoire pour plusieurs threads », ajoute-t-il. « C’est cette capacité à faire des choses simultanément sur ce stockage qui était si importante pour nous. »

L’année dernière, Duos a numérisé 8,5 millions de wagons, chaque numérisation générant potentiellement plus de 1 050 images. Le portail d’inspection des wagons Duos utilise quatre baies de stockage hautes performances, chacune contenant 16 disques NVMe, pour une capacité totale d’environ 500 téraoctets.

L’entreprise utilise également environ 25 téraoctets de stockage plus traditionnel pour former et développer son IA en interne, avec moins besoin de résultats instantanés. «Nous voulons tirer parti de tout cela pour faire ce que nous devons faire», déclare Necciai. « Il s’agit vraiment d’utiliser le bon outil pour le bon travail. »

Des besoins de données intenses

Comme Duos, d’autres entreprises menant d’énormes projets d’IA se tournent vers les SSD haute capacité ou la mémoire flash NAND pour leurs besoins de stockage.

Les options de mémoire haute vitesse sont nettement plus chères que les disques durs, coûtant jusqu’à 1 000 dollars par gigaoctet, mais elles offrent d’autres avantages. Par exemple, ils peuvent être près de trois fois plus économes en énergie et prendre moins de place que les racks de serveurs et de disques durs, explique Roger Corell, directeur principal du marketing de leadership chez le fabricant de SSD d’entreprise Solidigm.

À mesure que les entreprises adoptent des projets d’IA multimodaux et plus complexes et que de plus en plus d’employés commencent à utiliser des outils d’IA, la demande d’options de stockage multithread haute capacité ne fera qu’augmenter, dit-il.

« L’IA est très intense en termes de quantité de données qui doivent être stockées et de rapidité avec laquelle il faut accéder à ces énormes ensembles de données », ajoute Corell.

De plus, en plus des options SSD ou NAND, certaines entreprises utilisent des cloud privés ou des installations de colocalisation pour leurs besoins de stockage, explique Ugur Tigli, CTO chez MinIO, un magasin d’objets pour les projets d’IA et de ML.

Les clients MinIO qui adoptent l’IA augmentent généralement leur capacité de stockage de quatre à dix fois, dit-il, et il encourage les utilisateurs d’IA à grande échelle à regarder au-delà du cloud public pour leurs besoins de stockage en raison du coût d’utilisation du cloud privé ou des services de colocalisation. peut être 60 % inférieur à celui du cloud public.

« À l’échelle de centaines de pétaoctets ou d’un exaoctet ou deux, les aspects économiques ne fonctionnent pas dans le cloud public », dit-il. « Le coût global se chiffrerait en dizaines, voire centaines de millions de dollars par an, en fonction de la capacité, de la hiérarchisation et des profils d’accès aux données. »

Au lieu du cloud public, les utilisateurs d’entreprise peuvent créer en privé et « éclater » vers le cloud pour une utilisation supplémentaire du GPU, ajoute Tigli. « La clé ici est que le calcul est élastique, mais que les données ont une gravité et croissent à un rythme prévisible – quoique accéléré –, elles doivent donc être architecturées en conséquence », dit-il.

Le stockage comme plateforme

Une autre option implique des plates-formes de stockage à l’échelle du pétaoctet, ajoute Priyanka Karan, directrice technique de la société de transformation numérique AHEAD. Les plates-formes de stockage à l’échelle du pétaoctet « visent à réduire les défis liés au transfert de données liés au transfert des données de leur point d’arrivée initial vers des endroits où elles peuvent être exploitées pour la formation en IA », dit-elle. « Le but n’est pas de créer un nouveau silo de stockage. »

Certaines plates-formes de stockage disponibles sont construites sur la mémoire flash NAND, qui offre un débit élevé et une faible latence, essentiels pour alimenter les données des GPU et des TPU, explique-t-elle.

Avec plusieurs options disponibles, certains utilisateurs et experts de l’IA affirment que la quantité et le type de stockage nécessaire dépendent du projet d’IA déployé par une organisation.

Le traitement par lots hors ligne nécessite moins de mémoire que les charges de travail en temps réel, explique Karan. Dans certains cas, les options de stockage secondaire peuvent être utilisées pour stocker de grandes quantités de données nécessaires à la formation et à l’exécution de modèles d’IA, ajoute-t-elle.

Le choix de la bonne option de stockage dépend également de la gravité des données, souvent mentionnée : la taille de l’ensemble de données, la possibilité de le déplacer vers le cloud pour le traitement ou l’opportunité d’effectuer le traitement sur les données. Dans certains projets d’IA, le stockage des données est colocalisé dans un centre de données avec le calcul de l’IA, dans un autre cloud public ou à la périphérie où les données sont créées.

Les entreprises doivent prendre en compte de nombreux autres facteurs, notamment les défis en matière de sécurité et de réglementation ou de conformité. Avec le stockage dans le cloud, « la mise en réseau, la distance et la latence sont des facteurs ici, mais ils doivent prendre en compte la variable de coût supplémentaire », explique Karan.

De plus, au-delà du coût du stockage lui-même, il peut y avoir des frais de transfert de données, des frais d’accès et des frais de gestion pour le stockage hors site. D’un autre côté, les options de stockage sur site peuvent impliquer d’énormes investissements initiaux, ainsi que la maintenance, l’alimentation et le refroidissement, ainsi que les salaires du personnel.

« Les organisations doivent évaluer leurs besoins spécifiques, notamment en termes de performances, de coûts et d’évolutivité, afin de choisir la meilleure solution pour leurs initiatives d’IA », explique Karan.