«Il fallait le mettre en place», dit-il. « Et le calcul nécessaire pour exécuter un modèle de 70 milliards est important. Nous l’avons configuré nous-mêmes, approvisionné un serveur, déployé le modèle, et puis il y a eu une utilisation en plus de cela.
Azure propose désormais une option de paiement à l’utilisation dans laquelle les clients ne paient que les coûts des jetons, mais pour les entreprises cherchant à déployer des modèles sur site, les coûts de configuration existent toujours.
« Dans un monde idéal, ce serait le meilleur scénario, car vous n’êtes plus limité par des coûts symboliques », dit-il. « Le seul coût que vous payez concerne l’infrastructure. Mais vous devez toujours disposer de la capacité de calcul et d’autres éléments, comme la mise en réseau.
Coûts de surveillance
Lorsque la génération AI entre en production, un autre coût inattendu pourrait être la surveillance nécessaire. De nombreux systèmes nécessitent des humains dans la boucle ou des garde-fous techniques coûteux pour vérifier l’exactitude, réduire les risques ou pour des raisons de conformité.
«Je ne pense pas que nous nous attendions à ce que la réglementation arrive si tôt», déclare Sreekanth Menon, responsable mondial de l’IA chez Genpact. « Une fois que l’IA générative est arrivée, elle est devenue un sujet majeur, et tous les gouvernements se sont réveillés et ont déclaré que nous avions besoin de réglementations. »
La loi européenne est déjà en vigueur et des travaux américains sont en cours. « Désormais, les entreprises doivent en tenir compte lorsqu’elles développent l’IA, et cela a un coût », dit-il. Mais la réglementation n’est pas une mauvaise chose, ajoute-t-il. « Nous avons besoin de réglementations pour que les décisions en matière d’IA soient bonnes et équitables », dit-il.
L’ajout de la conformité réglementaire après la construction des systèmes coûte également cher, mais les entreprises peuvent planifier à l’avance en mettant en place de bons systèmes de gouvernance de l’IA. Garantir la sécurité des modèles d’IA de génération et des systèmes associés constitue également un coût auquel les entreprises ne sont peut-être pas préparées. Exécuter un test de production à petite échelle aidera non seulement les entreprises à identifier les problèmes de conformité et de sécurité, dit-il, mais les aidera également à mieux calculer d’autres coûts auxiliaires tels que ceux associés à une infrastructure supplémentaire, à la recherche, aux bases de données, aux API, etc. « Pensez grand, testez petit et évoluez rapidement », dit-il.
L’étalement de l’IA
Dans le passé, avec l’IA traditionnelle, il fallait peut-être un an ou deux d’expérimentation avant qu’un modèle d’IA soit prêt à être utilisé, mais les projets d’IA de génération avancent rapidement.
« Les modèles de base disponibles aujourd’hui permettent aux entreprises de réfléchir rapidement à des cas d’utilisation », explique Menon. « Nous sommes désormais dans une phase où nous pouvons penser à une expérience, puis passer rapidement à la production. » Il suggère que les entreprises s’abstiennent de réaliser tous les projets d’IA en même temps, mettent en place un mécanisme de coûts et des objectifs clairs pour chaque projet, puis démarrent modestement, évoluent judicieusement et investissent continuellement dans le perfectionnement des compétences.
« Le perfectionnement des compétences représente un coût, mais il vous aidera à économiser sur d’autres coûts », dit-il.
Matthew Mettenheimer, directeur associé chez S-RM Intelligence and Risk Consulting, déclare qu’il voit souvent la génération AI se répandre au sein des entreprises.
« Un DSI ou un conseil d’administration souhaite intégrer l’IA dans l’ensemble de son entreprise, et avant même de s’en rendre compte, il y a beaucoup de dépenses et de cas d’utilisation », dit-il.
Par exemple, S-RM a récemment travaillé avec un grand fabricant grand public qui a décidé de promouvoir l’IA dans son entreprise sans avoir au préalable mis en place une structure de gouvernance. « Et chaque département s’est lancé dans les courses et a commencé à essayer de mettre en œuvre l’IA générative », dit-il. « Vous aviez des contrats qui se chevauchaient avec différents outils pour différentes parties de l’organisation, ce qui a vraiment commencé à gonfler leurs dépenses. Leur service marketing utilisait un outil, leur équipe informatique en utilisait un autre. Même au sein d’un même service, différentes équipes utilisaient des outils différents.
En conséquence, l’entreprise payait encore et encore pour des services similaires, chaque groupe ayant ses propres contrats et ne réalisant aucun gain d’efficacité en faisant les choses à grande échelle. Et les gens recevaient des abonnements à des produits de génération AI qu’ils ne savaient pas utiliser.
«Il y avait beaucoup de bonnes intentions et d’idées à moitié cuites», dit-il. En conséquence, il y a eu une augmentation massive des dépenses informatiques, dit-il. Les entreprises doivent commencer par comprendre où la génération IA peut réellement avoir un impact. Les entreprises devraient alors construire leurs projets étape par étape, de manière durable, plutôt que d’acheter autant que possible. Certains domaines particulièrement préoccupants, dans lesquels les entreprises pourraient vouloir suspendre leurs dépenses, sont des cas d’utilisation qui pourraient être responsables de la culpabilité de l’organisation.
« Si vous êtes un assureur, utiliser l’IA pour déterminer si une réclamation sera payée ou non peut vous exposer à une certaine responsabilité si le mécanisme de l’IA n’est pas utilisé ou calibré correctement », explique Mettenheimer. Au lieu de cela, donnez la priorité aux cas d’utilisation dans lesquels les travailleurs peuvent être libérés pour gérer des tâches plus complexes.
« Si quelqu’un passe cinq heures par semaine à mettre à jour la même feuille de calcul et que vous pouvez réduire ce temps à zéro heure par semaine, cela libère réellement cette personne et lui permet d’être plus productive », ajoute-t-il. Mais si la vérification du produit du travail de l’IA prend autant de temps qu’elle en économise, cela ne rend pas vraiment le travail plus efficace.
« L’IA générative est un outil vraiment puissant et incroyable, mais ce n’est pas magique », dit-il. « Il existe une idée fausse selon laquelle l’IA sera capable de tout faire sans avoir besoin de processus manuels ou de validation, mais nous n’en sommes pas encore là. »
Il déconseille également de réaliser des projets d’IA pour lesquels des solutions parfaitement efficaces sont déjà en place.
«Je connais quelques cas où les gens souhaitent utiliser l’IA pour avoir le sentiment d’obtenir un avantage concurrentiel et pouvoir dire qu’ils utilisent l’IA pour leur produit», dit-il. « Ils ajoutent donc l’IA par-dessus, mais ils n’obtiennent aucun avantage autre que le simple fait de dire qu’ils utilisent l’IA. »
Les cadres supérieurs sont impatients de se lancer dans la génération AI, déclare Megan Amdahl, vice-présidente directrice des alliances de partenaires et des opérations chez Insight.
« Mais sans objectif précis en tête, ils peuvent passer beaucoup de temps sur des cycles qui n’aboutissent pas aux résultats qu’ils espèrent », dit-elle. Par exemple, les clients recherchent souvent de petits cas d’utilisation qui améliorent l’efficacité pour un petit nombre de personnes. Cela peut sembler être un projet formidable, mais s’il n’est pas possible de l’étendre, vous pouvez facilement vous retrouver avec une mer de solutions ponctuelles, dont aucune n’a un réel impact sur l’entreprise.
« Chez Insight, nous sélectionnions l’équipe à contacter afin d’améliorer les commentaires du service d’assistance », explique-t-elle. Un cas d’utilisation important concernait une équipe de 50 personnes qui vérifiaient l’état des commandes des clients. Mais non seulement l’équipe était petite, mais les gens étaient situés dans des endroits à faible coût. Améliorer leur efficacité grâce à la génération AI aurait un certain impact, mais pas significatif. Une autre équipe créait des nomenclatures pour les clients, et elle était beaucoup plus volumineuse. «Nous avons plutôt opté pour une équipe de 850 personnes afin que cela ait un impact plus large», dit-elle.
En plus de sélectionner les projets ayant l’impact le plus large possible, elle recommande également de rechercher ceux qui ont une portée plus étroite, en ce qui concerne les exigences en matière de données. Prenons par exemple un assistant du service d’assistance Gen AI.
« Ne répondez pas à tous les types de questions que l’entreprise peut vous poser », dit-elle. « Affinez-le et surveillez les réponses que vous recevez. Ensuite, la quantité de données que vous devez extraire est également réduite.
L’organisation des données constitue un défi important et coûteux pour les entreprises qui déploient l’IA. Les données doivent être claires et dans un format structuré pour réduire les inexactitudes. Elle recommande aux entreprises qui cherchent à décider quels projets d’IA de génération réaliser en premier d’examiner ceux qui se concentrent sur la génération de revenus, la réduction des coûts et l’amélioration de l’affinité avec leur marque.
août 8, 2024
Comment maîtriser les dépenses de la génération IA
«Il fallait le mettre en place», dit-il. « Et le calcul nécessaire pour exécuter un modèle de 70 milliards est important. Nous l’avons configuré nous-mêmes, approvisionné un serveur, déployé le modèle, et puis il y a eu une utilisation en plus de cela.
Azure propose désormais une option de paiement à l’utilisation dans laquelle les clients ne paient que les coûts des jetons, mais pour les entreprises cherchant à déployer des modèles sur site, les coûts de configuration existent toujours.
« Dans un monde idéal, ce serait le meilleur scénario, car vous n’êtes plus limité par des coûts symboliques », dit-il. « Le seul coût que vous payez concerne l’infrastructure. Mais vous devez toujours disposer de la capacité de calcul et d’autres éléments, comme la mise en réseau.
Coûts de surveillance
Lorsque la génération AI entre en production, un autre coût inattendu pourrait être la surveillance nécessaire. De nombreux systèmes nécessitent des humains dans la boucle ou des garde-fous techniques coûteux pour vérifier l’exactitude, réduire les risques ou pour des raisons de conformité.
«Je ne pense pas que nous nous attendions à ce que la réglementation arrive si tôt», déclare Sreekanth Menon, responsable mondial de l’IA chez Genpact. « Une fois que l’IA générative est arrivée, elle est devenue un sujet majeur, et tous les gouvernements se sont réveillés et ont déclaré que nous avions besoin de réglementations. »
La loi européenne est déjà en vigueur et des travaux américains sont en cours. « Désormais, les entreprises doivent en tenir compte lorsqu’elles développent l’IA, et cela a un coût », dit-il. Mais la réglementation n’est pas une mauvaise chose, ajoute-t-il. « Nous avons besoin de réglementations pour que les décisions en matière d’IA soient bonnes et équitables », dit-il.
L’ajout de la conformité réglementaire après la construction des systèmes coûte également cher, mais les entreprises peuvent planifier à l’avance en mettant en place de bons systèmes de gouvernance de l’IA. Garantir la sécurité des modèles d’IA de génération et des systèmes associés constitue également un coût auquel les entreprises ne sont peut-être pas préparées. Exécuter un test de production à petite échelle aidera non seulement les entreprises à identifier les problèmes de conformité et de sécurité, dit-il, mais les aidera également à mieux calculer d’autres coûts auxiliaires tels que ceux associés à une infrastructure supplémentaire, à la recherche, aux bases de données, aux API, etc. « Pensez grand, testez petit et évoluez rapidement », dit-il.
L’étalement de l’IA
Dans le passé, avec l’IA traditionnelle, il fallait peut-être un an ou deux d’expérimentation avant qu’un modèle d’IA soit prêt à être utilisé, mais les projets d’IA de génération avancent rapidement.
« Les modèles de base disponibles aujourd’hui permettent aux entreprises de réfléchir rapidement à des cas d’utilisation », explique Menon. « Nous sommes désormais dans une phase où nous pouvons penser à une expérience, puis passer rapidement à la production. » Il suggère que les entreprises s’abstiennent de réaliser tous les projets d’IA en même temps, mettent en place un mécanisme de coûts et des objectifs clairs pour chaque projet, puis démarrent modestement, évoluent judicieusement et investissent continuellement dans le perfectionnement des compétences.
« Le perfectionnement des compétences représente un coût, mais il vous aidera à économiser sur d’autres coûts », dit-il.
Matthew Mettenheimer, directeur associé chez S-RM Intelligence and Risk Consulting, déclare qu’il voit souvent la génération AI se répandre au sein des entreprises.
« Un DSI ou un conseil d’administration souhaite intégrer l’IA dans l’ensemble de son entreprise, et avant même de s’en rendre compte, il y a beaucoup de dépenses et de cas d’utilisation », dit-il.
Par exemple, S-RM a récemment travaillé avec un grand fabricant grand public qui a décidé de promouvoir l’IA dans son entreprise sans avoir au préalable mis en place une structure de gouvernance. « Et chaque département s’est lancé dans les courses et a commencé à essayer de mettre en œuvre l’IA générative », dit-il. « Vous aviez des contrats qui se chevauchaient avec différents outils pour différentes parties de l’organisation, ce qui a vraiment commencé à gonfler leurs dépenses. Leur service marketing utilisait un outil, leur équipe informatique en utilisait un autre. Même au sein d’un même service, différentes équipes utilisaient des outils différents.
En conséquence, l’entreprise payait encore et encore pour des services similaires, chaque groupe ayant ses propres contrats et ne réalisant aucun gain d’efficacité en faisant les choses à grande échelle. Et les gens recevaient des abonnements à des produits de génération AI qu’ils ne savaient pas utiliser.
«Il y avait beaucoup de bonnes intentions et d’idées à moitié cuites», dit-il. En conséquence, il y a eu une augmentation massive des dépenses informatiques, dit-il. Les entreprises doivent commencer par comprendre où la génération IA peut réellement avoir un impact. Les entreprises devraient alors construire leurs projets étape par étape, de manière durable, plutôt que d’acheter autant que possible. Certains domaines particulièrement préoccupants, dans lesquels les entreprises pourraient vouloir suspendre leurs dépenses, sont des cas d’utilisation qui pourraient être responsables de la culpabilité de l’organisation.
« Si vous êtes un assureur, utiliser l’IA pour déterminer si une réclamation sera payée ou non peut vous exposer à une certaine responsabilité si le mécanisme de l’IA n’est pas utilisé ou calibré correctement », explique Mettenheimer. Au lieu de cela, donnez la priorité aux cas d’utilisation dans lesquels les travailleurs peuvent être libérés pour gérer des tâches plus complexes.
« Si quelqu’un passe cinq heures par semaine à mettre à jour la même feuille de calcul et que vous pouvez réduire ce temps à zéro heure par semaine, cela libère réellement cette personne et lui permet d’être plus productive », ajoute-t-il. Mais si la vérification du produit du travail de l’IA prend autant de temps qu’elle en économise, cela ne rend pas vraiment le travail plus efficace.
« L’IA générative est un outil vraiment puissant et incroyable, mais ce n’est pas magique », dit-il. « Il existe une idée fausse selon laquelle l’IA sera capable de tout faire sans avoir besoin de processus manuels ou de validation, mais nous n’en sommes pas encore là. »
Il déconseille également de réaliser des projets d’IA pour lesquels des solutions parfaitement efficaces sont déjà en place.
«Je connais quelques cas où les gens souhaitent utiliser l’IA pour avoir le sentiment d’obtenir un avantage concurrentiel et pouvoir dire qu’ils utilisent l’IA pour leur produit», dit-il. « Ils ajoutent donc l’IA par-dessus, mais ils n’obtiennent aucun avantage autre que le simple fait de dire qu’ils utilisent l’IA. »
Les cadres supérieurs sont impatients de se lancer dans la génération AI, déclare Megan Amdahl, vice-présidente directrice des alliances de partenaires et des opérations chez Insight.
« Mais sans objectif précis en tête, ils peuvent passer beaucoup de temps sur des cycles qui n’aboutissent pas aux résultats qu’ils espèrent », dit-elle. Par exemple, les clients recherchent souvent de petits cas d’utilisation qui améliorent l’efficacité pour un petit nombre de personnes. Cela peut sembler être un projet formidable, mais s’il n’est pas possible de l’étendre, vous pouvez facilement vous retrouver avec une mer de solutions ponctuelles, dont aucune n’a un réel impact sur l’entreprise.
« Chez Insight, nous sélectionnions l’équipe à contacter afin d’améliorer les commentaires du service d’assistance », explique-t-elle. Un cas d’utilisation important concernait une équipe de 50 personnes qui vérifiaient l’état des commandes des clients. Mais non seulement l’équipe était petite, mais les gens étaient situés dans des endroits à faible coût. Améliorer leur efficacité grâce à la génération AI aurait un certain impact, mais pas significatif. Une autre équipe créait des nomenclatures pour les clients, et elle était beaucoup plus volumineuse. «Nous avons plutôt opté pour une équipe de 850 personnes afin que cela ait un impact plus large», dit-elle.
En plus de sélectionner les projets ayant l’impact le plus large possible, elle recommande également de rechercher ceux qui ont une portée plus étroite, en ce qui concerne les exigences en matière de données. Prenons par exemple un assistant du service d’assistance Gen AI.
« Ne répondez pas à tous les types de questions que l’entreprise peut vous poser », dit-elle. « Affinez-le et surveillez les réponses que vous recevez. Ensuite, la quantité de données que vous devez extraire est également réduite.
L’organisation des données constitue un défi important et coûteux pour les entreprises qui déploient l’IA. Les données doivent être claires et dans un format structuré pour réduire les inexactitudes. Elle recommande aux entreprises qui cherchent à décider quels projets d’IA de génération réaliser en premier d’examiner ceux qui se concentrent sur la génération de revenus, la réduction des coûts et l’amélioration de l’affinité avec leur marque.
Source link
Partager :
Articles similaires