Mesurer l’impact commercial de l’IA

L’intelligence artificielle est en transition, à la fois en tant que technologie et dans la manière dont elle est utilisée. Les entreprises sortent de plus en plus les pilotes d’IA des laboratoires de test et les déploient à grande échelle, et certaines en tirent des avantages significatifs. Indépendamment de toute incertitude entourant l’IA, ignorer son potentiel pose le risque que les entreprises faisant des affaires à l’ancienne fassent faillite.

Pour de nombreuses organisations, cependant, tirer de la valeur de l’IA peut être insaisissable. Leurs modèles pourraient ne pas être réglés. Leurs ensembles de données d’entraînement peuvent ne pas être assez volumineux. Les clients peuvent être méfiants. Il y a aussi préoccupations concernant les préjugés, l’éthique et la transparence. Pousser une initiative d’IA en production avant qu’elle ne soit prête, ou étendre une stratégie d’IA au-delà d’une phase initiale avant de vérifier correctement ses résultats peut coûter de l’argent à une entreprise, ou pire, l’envoyer dans une direction préjudiciable à l’entreprise.

Alors, comment savoir si un projet d’IA transformera ou sabotera votre entreprise ? Sans chiffres de retour sur investissement concrets, les entreprises doivent faire preuve de créativité avec des moyens de savoir avec certitude. Voici un aperçu de la façon dont les responsables informatiques et les initiés de l’industrie évaluent la valeur de l’IA.

Technologies matures ou révolutionnaires

Mesurer la valeur commerciale d’une initiative ou d’une technologie n’est pas toujours un calcul linéaire. L’IA ne fait certainement pas exception, en particulier lorsque les degrés de maturité et le potentiel commercial sont pris en compte. Des variables éprouvées et prédictives – comme l’exploration de données, les économies de coûts et de formation, l’investissement et la capacité à faciliter de nouvelles utilisations – influencent les décisions en matière de retour sur investissement acceptable, mais faire confiance à la technologie, qu’elle soit nouvelle ou établie, est essentiel.

Au Jet Propulsion Laboratory de la NASA, par exemple, le facteur clé pour mesurer le retour sur investissement d’un projet d’IA est la maturité technologique.

Certains cas d’utilisation de l’IA sont à un niveau de maturité élevé, explique Chris Mattmann, directeur de la technologie et de l’innovation au JPL de la NASA. Prenons par exemple l’automatisation des processus métier.

« Les trucs ennuyeux que chaque entreprise a, nous les avons aussi », dit-il. « Nous automatisons donc beaucoup de choses comme le traitement des tickets, la recherche, l’exploration de données, l’examen des contrats et des sous-contrats à l’aide de l’IA. »

Pour ce faire, JPL utilise des technologies disponibles dans le commerce, notamment DataRobot et Google Cloud. Pour déterminer si une technologie particulière vaut la peine d’investir, l’organisation examine si elle permettra d’économiser des coûts, du temps et des ressources, explique Mattmann. « C’est mature, donc tu devrais pouvoir le montrer. »

Pour les technologies à un niveau de maturité moyen, JPL examine si la technologie a la capacité de permettre de nouveaux cas d’utilisation, et à quel coût. « Par exemple, nous allons sur Mars, et nous avons un mince tuyau pour les télécommunications dans l’espace lointain », dit-il, et aujourd’hui, il y a suffisamment de bande passante pour envoyer environ 200 images par jour de Mars à la Terre.

« Ces brillants rovers martiens que nous envoyons ont des cerveaux de la taille d’un pois », dit-il. « Ils utilisent des processeurs iPhone 1. Nous n’installons dans l’espace que des objets résistants aux radiations, où nous sommes convaincus qu’ils peuvent résister à l’environnement de l’espace lointain. Les puces dont nous savons qu’elles fonctionnent bien sont ces puces plus anciennes, nous ne faisons donc pas d’IA ou de ML avancés sur les rovers.

Mais l’hélicoptère Ingenuity, qui était à l’origine simplement conçu comme une démonstration technologique et n’était pas au cœur de la mission, avait un processeur Qualcomm Snapdragon à bord, une puce AI. « Cela nous a démontré qu’il était possible d’avoir de nouvelles puces et de faire plus d’IA », dit-il.

Ici, l’IA permettra de nouveaux cas d’utilisation actuellement impossibles. Par exemple, au lieu de renvoyer 200 images par jour, le rover pourrait analyser les images lui-même à l’aide de l’IA et renvoyer un million de légendes de texte sur terre pour décrire, par exemple, qu’il y avait un lit de lac asséché dans une direction particulière. « Nous pourrions obtenir plus de visibilité avec du texte qu’avec des images aujourd’hui », déclare Mattmann.

Enfin, pour les technologies d’IA expérimentales les plus avancées, la mesure du succès est de savoir si elles permettent de faire de nouvelles recherches scientifiques et de rédiger et publier de nouveaux articles.

« Il y a un coût à la formation et à la construction de modèles », dit-il.

Des entreprises comme Google et Microsoft ont facilement accès à des volumes géants de données de formation, mais au JPL, les ensembles de données sont difficiles à acquérir et nécessitent des experts de niveau doctorat pour les analyser et les étiqueter.

« A la NASA, nos coûts pour former un nouveau modèle d’IA sont 10 à 20 fois supérieurs à ceux de l’industrie commerciale », explique Mattmann.

Ici, de nouvelles technologies arrivent qui pourraient permettre à la NASA de créer des modèles d’IA avec moins d’étiquetage manuel. Par exemple, les réseaux génératifs pourraient être utilisés pour créer des données de formation synthétiques, dit-il. Des contrefaçons profondes, mais au profit de la science.

La mesure de l’IA et ses sphères d’influence

Lorsqu’il n’existe aucun moyen direct de mesurer l’impact commercial d’un projet d’IA, les entreprises extraient plutôt les données des indicateurs de performance clés (KPI) associés. Ces variables proxy sont généralement liées aux objectifs commerciaux et peuvent inclure la satisfaction client, le délai de mise sur le marché ou les taux de rétention des employés.

Le cas typique est Atlantic Health System, où les patients sont au cœur de chaque décision, déclare Sunil Dadlani, son vice-président principal et directeur informatique. Ainsi, à bien des égards, le retour sur investissement dans l’IA est mesuré en examinant les améliorations apportées aux soins aux patients. Ces mesures axées sur le patient comprennent une durée de séjour réduite, un délai de traitement plus rapide, des vérifications plus rapides de l’admissibilité à l’assurance et des autorisations d’assurance préalables plus rapides, dit-il.

Un autre projet consiste à utiliser l’IA pour aider les radiologues à examiner les scans. Un KPI est la fréquence à laquelle les radiologues sont alertés de résultats potentiellement anormaux. « En avril 2022, 99% de nos radiologues ont déclaré avoir utilisé l’IA pour analyser plus de 12 000 études », déclare Dadlani, ajoutant que cela a déclenché près de 600 alertes. « Ainsi, les médecins peuvent traiter des problèmes potentiellement graves le plus rapidement possible. »

Chez RSM, le cinquième plus grand cabinet comptable aux États-Unis, les investissements dans l’IA suivent deux voies étroitement liées : l’une concerne la productivité et les outils d’analyse qui aident les employés à être meilleurs dans leur travail. L’autre concerne les outils identiques ou similaires, mais utilisés par les clients, explique Richard Davis, associé au sein de l’équipe de conseil en gestion, de transformation commerciale et technologique de l’entreprise.

Par exemple, lorsqu’il travaille avec des clients, RSM peut être appelé à extraire des données de plusieurs systèmes (comptabilité, ventes et marketing, RH, logistique) et à tout rassembler dans un seul volet. L’IA peut aider à accélérer ce processus, dit Davis. Ensuite, l’IA peut être utilisée pour identifier comment le travail se déplace dans ces systèmes et où pourraient se trouver les défis et les obstacles sous-jacents.

Alors, comment l’entreprise sait-elle si son IA va dans la bonne direction ?

« Premièrement, nous pouvons mesurer très clairement l’utilisation des outils », déclare Davis, qui a refusé de fournir des détails sur l’investissement de RSM dans les initiatives d’IA ou le retour sur investissement. « Ce que nous voulons voir au fil du temps, c’est un engagement plus efficace. »

Cet engagement accru, dit Davis, devrait alors conduire à une productivité accrue. « Donc, si quelque chose nous prenait une semaine à faire, l’objectif pourrait être de le ramener à une journée », dit-il.

Concentrez-vous sur les avantages commerciaux

Mesurer le succès de l’IA peut également être subjectif. L’évaluation d’un projet d’IA est un art autant que le développement de l’IA elle-même, explique Eugenio Zuccarelli, chercheur en IA au MIT qui travaille également comme data scientist dans le secteur de la vente au détail.

Pourtant, il est important de pouvoir expliquer l’impact de l’IA sur les entreprises, déclare Zuccarelli. « Les KPI ne doivent pas être définis autour du modèle lui-même », dit-il, « mais sur les mesures commerciales et humaines, qui devraient être les objectifs finaux du projet ». Sinon, il peut être trop facile de choisir une métrique technique qui semble montrer le succès, mais qui en réalité ne se traduirait pas par un impact effectif sur l’entreprise.

Zuccarelli, qui a également occupé des postes en science des données chez BMW et Telstra, met également en garde contre la mesure des progrès de manière isolée. Par exemple, si un projet d’IA a été conçu pour améliorer quelque chose qui s’améliorait déjà pour d’autres raisons, un groupe de contrôle est nécessaire pour déterminer dans quelle mesure l’amélioration est réellement due à l’IA.

D’autres KPI précieux pour les projets d’IA pourraient être, par exemple, une réduction des fausses alertes ou la suppression automatique des privilèges excessifs, déclare Vladislav Shapiro, qui a des années d’expérience dans le secteur des services financiers et est le fondateur de Costidity, un groupe de conseil spécialisé dans l’informatique. gouvernance et administration de la sécurité et des identités.

Dans un récent déploiement de sécurité alimenté par l’IA, Shapiro a travaillé, le taux d’alertes faussement positives a été divisé par trois, dit-il, et de nombreux processus auparavant manuels ont été automatisés.

« Lorsque vous montrez ces chiffres à la direction de niveau C, ils comprennent que tout ce qui précède réduit le risque de violation et augmente la responsabilité et la gouvernance », dit-il.

Mesurer le succès progressivement

L’automatisation menant à la réduction des coûts est le moyen le plus simple et le plus clair de montrer les avantages économiques de l’IA, déclare Sanjay Srivastava, stratège numérique en chef chez Genpact, une société mondiale de services professionnels. Mais l’IA peut également faciliter de nouvelles sources de revenus, voire transformer complètement le modèle commercial d’une entreprise.

Par exemple, avec l’IA, un constructeur de moteurs d’avions a vu qu’il pouvait mieux prévoir les pannes et améliorer la logistique afin de pouvoir commencer à proposer des moteurs en tant que service. « Pour le consommateur final, il vaut mieux acheter des miles parcourus que le moteur lui-même », dit-il. « C’est un nouveau modèle d’affaires. Cela change la façon dont une entreprise fonctionne parce que l’IA le permet. »

Et l’impact commercial est également immédiatement évident, dit-il.

Ainsi, pour justifier les investissements dans l’IA pendant cette période, ce fabricant particulier avait besoin de cet objectif à long terme, mais l’a traduit en projets à court terme mesurables par d’autres moyens.

« Au lieu de dire : ‘Dans dix ans, nous changerons l’industrie’, dites : ‘Dès la première année, nous commencerons à regarder quelles pièces nous devons stocker’ », dit-il. «Vous n’êtes pas encore en train de changer l’industrie en miles aériens parcourus. Vous dites simplement : « Nous aurons besoin des bonnes pièces dans les bonnes quantités. Il s’agit d’un projet d’un an pour optimiser vos systèmes d’entrepôt et réduire le montant que vous investissez dans les stocks.

En plus de l’optimisation de la chaîne d’approvisionnement, d’autres mesures de progrès à court terme peuvent inclure la satisfaction des clients.

« Si l’avion est bloqué à Mumbai pendant cinq jours en attente d’une pièce, par exemple, le client va le ressentir », dit-il.

Alignement avec la vision stratégique

Ensuite, il y a la réalité qu’à court terme, certains projets d’IA peuvent nuire au résultat net, mais restent importants et transformateurs à long terme. Par exemple, une entreprise qui déploie un chatbot de service client peut éliminer les tâches banales. « Mais les chatbots peuvent être nuisibles parce que certaines personnes sont douées pour la vente incitative et veulent interagir avec les gens », explique Whit Andrews, analyste chez Gartner. « Donc, l’organisation pourrait ne pas vouloir cela. »

Cela dépend du type d’entreprise que vous voulez être, dit-il. « À un moment donné, vous devez vous demander si vous êtes le genre d’entreprise qui, si une livraison est ratée, par exemple, les clients peuvent appeler pour demander où elle se trouve et vous vous engagez avec eux, puis essayez de les vendre pour obtenir le produit une fois par mois.

Si l’organisation s’engage à la fois dans une transformation alimentée par l’IA avec un retour sur investissement mesuré pour la soutenir, et qu’elle a pour vision d’être axée sur le client, elle peut alors regarder au-delà de l’impact immédiat sur le résultat net vers d’autres indicateurs potentiellement plus significatifs.

« Une organisation plus entièrement automatisée peut avoir plus de succès car elle augmente sa part de marché », déclare Andrews. « Mais vous pouvez développer vos données afin de pouvoir contacter quelqu’un à un moment plus pertinent pour lui. S’il y a quelque chose que vous pouvez indiquer et dire, la logique nous dit simplement que cela rendra notre client plus heureux et nos employés plus performants, alors poursuivez-le.