« Il fallait le configurer », dit-il. « Et les calculs nécessaires pour exécuter un modèle de 70 milliards sont importants. Nous l’avons configuré nous-mêmes, approvisionné un serveur, déployé le modèle, puis il y a eu l’utilisation en plus de cela.
Azure propose désormais une option de paiement à l’utilisation dans laquelle les clients ne paient que les coûts des jetons, mais pour les entreprises cherchant à déployer des modèles sur site, les coûts de configuration existent toujours.
« Dans un monde idéal, ce serait le meilleur scénario, car vous n’êtes plus limité par des coûts symboliques », affirme-t-il. « La seule chose à payer, ce sont les infrastructures. Mais il lui faut encore une capacité de calcul et d’autres éléments, comme le réseau. »
Frais de surveillance
Lorsque l’IA entre en production, un autre coût inattendu peut être la surveillance nécessaire. De nombreux systèmes nécessitent une intervention humaine ou des mesures de protection techniques coûteuses pour vérifier l’exactitude, réduire les risques ou pour des raisons de conformité.
«Je ne pense pas que nous nous attendions à ce que la réglementation arrive si tôt», s’étonne Sreekanth Menon, responsable mondial de l’IA chez Genpact. « Une fois que l’IA générative est entrée en scène, elle est devenue un sujet brûlant de leadership, et tous les gouvernements se sont réveillés et ont déclaré que nous avions besoin de réglementations. »
La législation européenne est déjà en vigueur et des travaux sont en cours aux États-Unis. « Désormais, les entreprises doivent en tenir compte lorsqu’elles développent l’IA, et cela représente un coût », note-t-il. Mais la réglementation n’est pas une mauvaise chose, ajoute-t-il. « Nous avons besoin de règles pour que les décisions en matière d’IA soient bonnes et équitables », souligne-t-il.
L’ajout de la conformité réglementaire après la construction des systèmes est également coûteux, mais les entreprises peuvent planifier à l’avance en mettant en place de bons systèmes de gouvernance de l’IA. Garantir la sécurité des modèles d’IA de génération et des systèmes associés est un autre coût auquel les entreprises ne sont peut-être pas préparées. L’exécution d’un test de production à petite échelle aidera non seulement les entreprises à identifier les problèmes de conformité et de sécurité, mais les aidera également à mieux calculer d’autres coûts auxiliaires, tels que ceux associés à une infrastructure supplémentaire, à la recherche, aux bases de données, aux API, etc. « Pensez grand, testez petit et évoluez rapidement », dit-il.
L’IA se propage comme une traînée de poudre
Dans le passé, avec l’IA traditionnelle, il fallait un an ou deux d’expérimentation avant qu’un modèle soit prêt à être utilisé, mais les projets d’IA générative avancent rapidement.
« Les modèles de base disponibles aujourd’hui permettent aux entreprises de réfléchir rapidement aux cas d’usage », prévient Menon. « Nous sommes désormais à un stade où nous pouvons réfléchir à une expérimentation puis passer rapidement à la production. » Il suggère aux entreprises de s’abstenir de réaliser tous les projets d’IA en même temps, mais plutôt d’avoir un mécanisme de coûts et des objectifs clairs pour chaque projet, de commencer modestement, d’évoluer judicieusement et d’investir continuellement dans le développement professionnel.
« La mise à niveau représente un coût, mais elle vous aidera à économiser sur d’autres », dit-il.
Matthew Mettenheimer, directeur associé de S-RM Intelligence and Risk Consulting, affirme qu’il constate souvent une dispersion de la génération IA au sein des entreprises.
« Un DSI ou un conseil d’administration qui souhaite activer l’intelligence artificielle dans toute l’entreprise doit tenir compte du fait qu’il devra engager de nombreuses dépenses et expérimenter différents cas d’utilisation », précise-t-il.
Par exemple, S-RM a récemment travaillé avec un grand fabricant de biens de consommation qui a décidé d’introduire l’IA dans son entreprise sans avoir au préalable mis en place une structure de gouvernance. « Et chaque département s’est déchaîné et a commencé à essayer de mettre en œuvre l’IA générative », dit-il. « Il y avait des contrats qui se chevauchaient avec différents outils pour différentes parties de l’entreprise et, par conséquent, les dépenses ont commencé à exploser. Le service marketing utilisait un outil, l’équipe informatique un autre. Même au sein d’un même service, les différentes équipes utilisaient des outils différents.
En conséquence, l’entreprise payait encore et encore pour des services similaires, chaque groupe ayant ses propres contrats, et manquait de l’efficacité nécessaire pour faire les choses à grande échelle. Et les gens recevaient des abonnements à des produits de génération AI qu’ils ne savaient pas comment utiliser.
« Il y avait beaucoup de bonnes intentions et d’idées à moitié cuites », se souvient-il. En conséquence, il y a eu une augmentation massive des dépenses informatiques, dit-il. Les entreprises doivent commencer à comprendre où la génération IA peut réellement avoir un impact et construire leurs projets étape par étape, de manière durable, plutôt que d’acheter autant que possible. Certains domaines particulièrement préoccupants, dans lesquels les entreprises peuvent vouloir suspendre leurs dépenses, sont les cas d’utilisation qui entraînent une responsabilité élevée pour l’entreprise.
« Par exemple, une compagnie d’assurance qui utilise l’IA pour déterminer si une réclamation sera payée ou non peut se retrouver dans une impasse si le mécanisme de l’IA n’a pas été utilisé ou calibré correctement », prévient Mettenheimer. Au lieu de cela, il pourra donner la priorité à tous les cas dans lesquels les travailleurs peuvent être libérés pour gérer des tâches plus complexes.
« Si une personne passe cinq heures par semaine à mettre à jour la même feuille de calcul et que ce temps peut être réduit à zéro heure par semaine, elle sera libérée et pourra être plus productive », ajoute-t-il. Mais si la vérification du produit du travail de l’IA prend autant de temps qu’elle en économise, le mécanisme ne sera pas efficace.
« L’IA générative est un outil vraiment puissant et incroyable, mais ce n’est pas magique », note-t-il. « Il existe une idée fausse selon laquelle l’IA sera capable de tout faire sans avoir recours à des processus manuels ou à une validation humaine, mais nous n’en sommes pas encore là. »
Il recommande également de ne pas créer de projets d’IA lorsque de bonnes solutions non-IA existent déjà.
« Je connais des cas où des gens souhaitent utiliser l’IA pour avoir le sentiment d’avoir un avantage concurrentiel et pouvoir dire qu’ils utilisent l’IA pour leur produit », dit-il. « Ils l’incluent donc, mais ils n’en tirent aucun avantage autre que celui de dire qu’ils l’utilisent. »
Les cadres dirigeants sont impatients de commencer à travailler sur la génération IA, déclare Megan Amdahl, vice-présidente directrice des relations avec les partenaires et des opérations chez Insight.
«Mais sans objectif clair en tête, ils peuvent passer beaucoup de temps dans des cycles qui n’aboutissent pas aux résultats souhaités», précise-t-il. Par exemple, créer de petits cas qui améliorent l’efficacité d’un petit nombre de personnes peut sembler un grand projet, mais s’il n’y a aucun moyen de l’étendre, vous risquez de vous retrouver avec une mer de solutions ponctuelles, mais aucune. dont produit un réel impact positif sur l’entreprise.
« Chez Insight, nous sélectionnions l’équipe à suivre pour améliorer les commentaires du service d’assistance », révèle-t-il. Un cas d’utilisation notable impliquait une équipe de 50 personnes surveillant l’état des commandes des clients. Cependant, non seulement l’équipe était petite, mais les gens étaient situés dans des endroits à faible coût. Améliorer leur efficacité grâce à l’IA aurait un certain impact, mais pas significatif. Une autre équipe analysée était celle chargée de créer les nomenclatures pour les clients, et elle était beaucoup plus grande. « Nous nous sommes concentrés sur la taille de l’équipe, qui était de 850 personnes, afin d’avoir un impact plus large », ajoute-t-il.
En plus de sélectionner les projets qui génèrent l’impact le plus large possible, elle recommande également de rechercher ceux qui ont un champ d’exigences en matière de données plus restreint. Prenons par exemple un assistant du service d’assistance géré par la génération AI.
« Ne cherchez pas tous les types de questions que l’entreprise peut recevoir », dit-il. « Affinez et surveillez les réponses que vous recevez. Cela réduit également la quantité de données à collecter.
L’organisation des données constitue un défi majeur pour les entreprises qui utilisent l’IA, et cela coûte également cher. Les données doivent être propres et dans un format structuré pour réduire les inexactitudes. Elle conseille aux entreprises qui tentent de décider quels projets d’IA construire en premier de considérer ceux qui se concentrent sur la génération de revenus, la réduction des coûts et l’amélioration de l’affinité avec la marque.
août 15, 2024
Les coûts de la génération IA augmentent-ils ? Voici comment les garder sous contrôle
« Il fallait le configurer », dit-il. « Et les calculs nécessaires pour exécuter un modèle de 70 milliards sont importants. Nous l’avons configuré nous-mêmes, approvisionné un serveur, déployé le modèle, puis il y a eu l’utilisation en plus de cela.
Azure propose désormais une option de paiement à l’utilisation dans laquelle les clients ne paient que les coûts des jetons, mais pour les entreprises cherchant à déployer des modèles sur site, les coûts de configuration existent toujours.
« Dans un monde idéal, ce serait le meilleur scénario, car vous n’êtes plus limité par des coûts symboliques », affirme-t-il. « La seule chose à payer, ce sont les infrastructures. Mais il lui faut encore une capacité de calcul et d’autres éléments, comme le réseau. »
Frais de surveillance
Lorsque l’IA entre en production, un autre coût inattendu peut être la surveillance nécessaire. De nombreux systèmes nécessitent une intervention humaine ou des mesures de protection techniques coûteuses pour vérifier l’exactitude, réduire les risques ou pour des raisons de conformité.
«Je ne pense pas que nous nous attendions à ce que la réglementation arrive si tôt», s’étonne Sreekanth Menon, responsable mondial de l’IA chez Genpact. « Une fois que l’IA générative est entrée en scène, elle est devenue un sujet brûlant de leadership, et tous les gouvernements se sont réveillés et ont déclaré que nous avions besoin de réglementations. »
La législation européenne est déjà en vigueur et des travaux sont en cours aux États-Unis. « Désormais, les entreprises doivent en tenir compte lorsqu’elles développent l’IA, et cela représente un coût », note-t-il. Mais la réglementation n’est pas une mauvaise chose, ajoute-t-il. « Nous avons besoin de règles pour que les décisions en matière d’IA soient bonnes et équitables », souligne-t-il.
L’ajout de la conformité réglementaire après la construction des systèmes est également coûteux, mais les entreprises peuvent planifier à l’avance en mettant en place de bons systèmes de gouvernance de l’IA. Garantir la sécurité des modèles d’IA de génération et des systèmes associés est un autre coût auquel les entreprises ne sont peut-être pas préparées. L’exécution d’un test de production à petite échelle aidera non seulement les entreprises à identifier les problèmes de conformité et de sécurité, mais les aidera également à mieux calculer d’autres coûts auxiliaires, tels que ceux associés à une infrastructure supplémentaire, à la recherche, aux bases de données, aux API, etc. « Pensez grand, testez petit et évoluez rapidement », dit-il.
L’IA se propage comme une traînée de poudre
Dans le passé, avec l’IA traditionnelle, il fallait un an ou deux d’expérimentation avant qu’un modèle soit prêt à être utilisé, mais les projets d’IA générative avancent rapidement.
« Les modèles de base disponibles aujourd’hui permettent aux entreprises de réfléchir rapidement aux cas d’usage », prévient Menon. « Nous sommes désormais à un stade où nous pouvons réfléchir à une expérimentation puis passer rapidement à la production. » Il suggère aux entreprises de s’abstenir de réaliser tous les projets d’IA en même temps, mais plutôt d’avoir un mécanisme de coûts et des objectifs clairs pour chaque projet, de commencer modestement, d’évoluer judicieusement et d’investir continuellement dans le développement professionnel.
« La mise à niveau représente un coût, mais elle vous aidera à économiser sur d’autres », dit-il.
Matthew Mettenheimer, directeur associé de S-RM Intelligence and Risk Consulting, affirme qu’il constate souvent une dispersion de la génération IA au sein des entreprises.
« Un DSI ou un conseil d’administration qui souhaite activer l’intelligence artificielle dans toute l’entreprise doit tenir compte du fait qu’il devra engager de nombreuses dépenses et expérimenter différents cas d’utilisation », précise-t-il.
Par exemple, S-RM a récemment travaillé avec un grand fabricant de biens de consommation qui a décidé d’introduire l’IA dans son entreprise sans avoir au préalable mis en place une structure de gouvernance. « Et chaque département s’est déchaîné et a commencé à essayer de mettre en œuvre l’IA générative », dit-il. « Il y avait des contrats qui se chevauchaient avec différents outils pour différentes parties de l’entreprise et, par conséquent, les dépenses ont commencé à exploser. Le service marketing utilisait un outil, l’équipe informatique un autre. Même au sein d’un même service, les différentes équipes utilisaient des outils différents.
En conséquence, l’entreprise payait encore et encore pour des services similaires, chaque groupe ayant ses propres contrats, et manquait de l’efficacité nécessaire pour faire les choses à grande échelle. Et les gens recevaient des abonnements à des produits de génération AI qu’ils ne savaient pas comment utiliser.
« Il y avait beaucoup de bonnes intentions et d’idées à moitié cuites », se souvient-il. En conséquence, il y a eu une augmentation massive des dépenses informatiques, dit-il. Les entreprises doivent commencer à comprendre où la génération IA peut réellement avoir un impact et construire leurs projets étape par étape, de manière durable, plutôt que d’acheter autant que possible. Certains domaines particulièrement préoccupants, dans lesquels les entreprises peuvent vouloir suspendre leurs dépenses, sont les cas d’utilisation qui entraînent une responsabilité élevée pour l’entreprise.
« Par exemple, une compagnie d’assurance qui utilise l’IA pour déterminer si une réclamation sera payée ou non peut se retrouver dans une impasse si le mécanisme de l’IA n’a pas été utilisé ou calibré correctement », prévient Mettenheimer. Au lieu de cela, il pourra donner la priorité à tous les cas dans lesquels les travailleurs peuvent être libérés pour gérer des tâches plus complexes.
« Si une personne passe cinq heures par semaine à mettre à jour la même feuille de calcul et que ce temps peut être réduit à zéro heure par semaine, elle sera libérée et pourra être plus productive », ajoute-t-il. Mais si la vérification du produit du travail de l’IA prend autant de temps qu’elle en économise, le mécanisme ne sera pas efficace.
« L’IA générative est un outil vraiment puissant et incroyable, mais ce n’est pas magique », note-t-il. « Il existe une idée fausse selon laquelle l’IA sera capable de tout faire sans avoir recours à des processus manuels ou à une validation humaine, mais nous n’en sommes pas encore là. »
Il recommande également de ne pas créer de projets d’IA lorsque de bonnes solutions non-IA existent déjà.
« Je connais des cas où des gens souhaitent utiliser l’IA pour avoir le sentiment d’avoir un avantage concurrentiel et pouvoir dire qu’ils utilisent l’IA pour leur produit », dit-il. « Ils l’incluent donc, mais ils n’en tirent aucun avantage autre que celui de dire qu’ils l’utilisent. »
Les cadres dirigeants sont impatients de commencer à travailler sur la génération IA, déclare Megan Amdahl, vice-présidente directrice des relations avec les partenaires et des opérations chez Insight.
«Mais sans objectif clair en tête, ils peuvent passer beaucoup de temps dans des cycles qui n’aboutissent pas aux résultats souhaités», précise-t-il. Par exemple, créer de petits cas qui améliorent l’efficacité d’un petit nombre de personnes peut sembler un grand projet, mais s’il n’y a aucun moyen de l’étendre, vous risquez de vous retrouver avec une mer de solutions ponctuelles, mais aucune. dont produit un réel impact positif sur l’entreprise.
« Chez Insight, nous sélectionnions l’équipe à suivre pour améliorer les commentaires du service d’assistance », révèle-t-il. Un cas d’utilisation notable impliquait une équipe de 50 personnes surveillant l’état des commandes des clients. Cependant, non seulement l’équipe était petite, mais les gens étaient situés dans des endroits à faible coût. Améliorer leur efficacité grâce à l’IA aurait un certain impact, mais pas significatif. Une autre équipe analysée était celle chargée de créer les nomenclatures pour les clients, et elle était beaucoup plus grande. « Nous nous sommes concentrés sur la taille de l’équipe, qui était de 850 personnes, afin d’avoir un impact plus large », ajoute-t-il.
En plus de sélectionner les projets qui génèrent l’impact le plus large possible, elle recommande également de rechercher ceux qui ont un champ d’exigences en matière de données plus restreint. Prenons par exemple un assistant du service d’assistance géré par la génération AI.
« Ne cherchez pas tous les types de questions que l’entreprise peut recevoir », dit-il. « Affinez et surveillez les réponses que vous recevez. Cela réduit également la quantité de données à collecter.
L’organisation des données constitue un défi majeur pour les entreprises qui utilisent l’IA, et cela coûte également cher. Les données doivent être propres et dans un format structuré pour réduire les inexactitudes. Elle conseille aux entreprises qui tentent de décider quels projets d’IA construire en premier de considérer ceux qui se concentrent sur la génération de revenus, la réduction des coûts et l’amélioration de l’affinité avec la marque.
Source link
Partager :
Articles similaires