Défi de la gestion des risques liés à l'IA / DI d'entreprise (2e partie)

Deuxième partie d'une série en deux parties sur la gestion des risques selon les modèles dans les domaines de l'intelligence artificielle (IA) et de l'intelligence de décision (DI) pour les entreprises. Lire Partie 1 .

Nous déplaçons l'intelligence artificielle (AI) du laboratoire où nous pouvons contrôler, pour un nombre limité de variables, des implémentations potentiellement gigantesques, où les variables se propagent et se multiplient. Nous devons avoir une discipline d'ingénierie de l'IA capable de prédire et d'ajuster ces variables.

Décisions d'IA / DI à une ou plusieurs liaisons

Les premières implémentations d'IA d'entreprise sont encore assez limitées et ont tendance à être centrées sur les prédictions de lien unique. telles que:

• "Quelles sont les chances que ce client se désabonne?"
• "Quel est le revenu prévisionnel cumulé de ce client?"
• "Quelle clause de ce règlement a été modifiée depuis notre dernière révision? ”
• “ Où les logos apparaissent-ils dans cette vidéo? ”

Dans un cas d'utilisation typique en entreprise, ces modèles d'IA mono-lien fournissent un aperçu utilisé par les décideurs humains pour déterminer la meilleure étape sur la base de ces informations. L'espace de décision – les intrants et les résultats qui en résultent – est bien défini et étroitement limité.

Par exemple, un système d'intelligence artificielle peut afficher des informations telles que le «risque de roulement» ou «une valeur de durée de vie élevée», en fonction des éléments suivants: un petit ensemble de critères – sur le terminal d'un représentant du service clientèle lorsqu'il parle avec un client

Ou un système d'intelligence artificielle en langage naturel (NLP) peut être formé à l'identification et à la distribution de mises à jour d'un ensemble de réglementations spécifique. Un analyste humain peut ensuite ajuster les conditions du contrat ou modifier un univers limité de fonctionnalités de produit ou de service afin de se conformer à ces nouvelles exigences légales, ce qui peut entraîner des dommages importants pour les entreprises si le système NLP est mal conçu et formé.

Les systèmes de liaison entrent dans plusieurs catégories, comme nous l'avons vu dans la première partie de cette série:

1. Biais dans la sélection de données
2. Formation sur des ensembles de données non représentatifs des conditions futures (problème de Black Swan )
3. Biais externe ou sociétal

Cependant, ces cas d'utilisation à liaison unique ne représentent qu'une infime fraction des points potentiels d'injection et d'inflexion d'IA / DI dans une entreprise type ou une autre grande organisation.

impliquent plusieurs modèles dans une cascade de causes à effet, car les systèmes sont utilisés à la fois pour les décisions ( l'intelligence décisionnelle ) et pour l'amélioration des processus.

Par exemple, un système utilisé pour le capital allo Cela pourrait inclure un modèle permettant de prédire la croissance future des clients, un autre permettant de prédire l’impact d’une allocation marketing consacrée au service client sur la probabilité de recommander (L2R), et un troisième modèle représentant le taux de conversation probable d’une campagne de vente. Une décision concernant le meilleur plan d’action pour augmenter les revenus pourrait utiliser un système reposant sur la collaboration de tous les modèles. Ceci est qualitativement plus complexe – et implique donc un niveau de risque qualitativement différent – que les systèmes d'IA à liaison unique.

Comme le montre cet exemple, les processus de décision basés sur l'IA détermineront de plus en plus les objectifs et les incitations et prendront ou contribueront à de multiples décisions qui sous-tendent tous les choix stratégiques et tactiques d’une organisation. Trouver le moyen de gérer les risques associés deviendra essentiel au succès ou à l'échec d'initiatives d'entreprise ou même à la survie de toute l'entreprise.

La complexité augmente naturellement avec chaque nouveau niveau de maturité d'IA et à mesure que de multiples systèmes d'IA sont intégrés processus de l'entreprise. À mesure que les systèmes d'entreprise axés sur l'IA deviennent de plus en plus complexes et profondément ancrés, les risques nouveaux et émergents deviennent également beaucoup plus difficiles à identifier et à gérer.

Externalités de décision involontaires et souhaitées

Comme décrit ci-dessus, les décisions automatisées par AI / DI au sein d'une entreprise. sont séparés par des couches de contexte à la fois des données source et des points de risque externes. Cela rend plus difficile l'identification des biais dans les données et l'identification des problèmes jusqu'à leur cause fondamentale.

Toutefois, un risque plus grave peut survenir dans des circonstances qui ne reflètent même pas un biais du point de vue de l'entreprise. 19659010] L'un d'entre nous (Kamesh) a travaillé pour un cabinet d'avocats dans le cadre d'une initiative de planification stratégique. Le projet a révélé que pour maximiser les profits, l’entreprise devait se concentrer sur les clients fortunés. Logiquement, cela signifie que moins de ressources et moins d’attention seraient concentrées sur les cas provenant, par exemple, du Bureau de la protection financière des consommateurs des États-Unis.

Mais, bien que ces cas soient fondamentalement moins lucratifs pour la société, ils ont sans doute fourni résultat plus souhaitable du point de vue de la justice sociale.

Ce type d’optimisation est, bien entendu, omniprésent dans les entreprises. Les entreprises sont généralement tenues de générer une rentabilité ou d’autres résultats qui profitent à leurs parties prenantes immédiates et traitent souvent les impacts sociétaux externes comme des externalités gratuites.

Cela n’a rien de nouveau.

Ce que est new est Lorsque ce type de sélection est suralimenté en premier lieu par la disponibilité d'une masse de données et, à mesure que nous progressons, par des modèles d'IA qui éliminent de plus en plus les clients, sauf les plus lucratifs, de toute entreprise.

Les sociétés de télécommunication pourraient Pour la première fois, comprenez qu’il existe une catégorie de clients dont le service par l’intermédiaire du centre d’appels coûte plus cher que les revenus qu’ils perçoivent. D'un autre côté, ils fourniront un service «marquis» aux clients VIP à influence sociale étendue, tels que les politiciens et les stars des médias.

Dans un contexte de liaisons multiples, voici comment les décisions de neutralité du réseau sont prises en fonction de l'optimisation des pratiques de gestion de réseau. pourraient se répercuter pour aider à déterminer différents résultats de service pour différents groupes de clients.

Les services inférieurs proposés aux clients moins fortunés ne résultent pas de la conception, mais de la myriade de décisions motivées par des biais inconscients et auto-amplificateurs. .

Le même schéma se reproduit chaque fois qu'une entreprise choisit des fournisseurs avec lesquels faire des affaires ou des locaux sur lesquels elle doit s'installer, en se basant sur des structures réglementaires ou sur l'une des millions de décisions qui sous-tendent les relations et les structures commerciales.

cela se passe hors de vue, profondément dans les systèmes d'entreprise et dans les bases de données qui se sont développées comme un corail au fil des décennies et à travers des milliards de transactions. L'impact de n'importe laquelle des milliards de décisions qui sous-tendent chaque transaction est tellement éloigné du résultat final ou du résultat qu'il est invisible.

Il existe déjà vraiment des fantômes dans les machines.

Dans le contexte de l'IA, cela signifie que les données que nous avons l'intention d'utiliser pour former des systèmes d'IA extrêmement puissants sont opaques. Nous ne pouvons pas voir quels biais ont été incorporés – que ce soit par conception ou par défaut – dans les données et les architectures de nos bases de données et référentiels. Mais il existe des biais, et ces outils sont garantis pour les amplifier.

En fait, l'utilisation de l'IA crée une nouvelle couche d'écran de fumée pour les entreprises qui manifestent un biais intentionnel : un négatif bien informé sur les facteurs sociétaux externes. .

Les modèles de risques informatiques traditionnels ne prennent pas en compte les implications sociétales externes pouvant découler de la non prise en compte des risques et des externalités internes non économiques. Dans de nombreux cas, ces risques non économiques surviennent lorsque des décisions sont prises à notre insu, sur la base de données erronées ou biaisées, et ils sont amplifiés lorsque l'AI / DI est introduit dans les systèmes de soutien aux entreprises.

Pour ces raisons, nous devons développer une nouvelle discipline pour gérer le risque lié à l'IA dans l'entreprise.

Mise en route

L'ampleur des données d'entreprise devant être utilisées pour l'IA est considérable. Ce sont potentiellement toutes les données que les humains ont ou vont créer et stocker électroniquement. Avec des données massives, une puissance de calcul et des algorithmes de plus en plus sophistiqués, l'espace de résultats – les résultats possibles d'une chaîne de décisions prise par l'IA / DI – est tout aussi grand.

Le risque de résultats inattendus peut très bien augmenter de manière non linéaire avec la complexité de l'application pour laquelle il est utilisé. Nous devons faire tout ce qui est en notre pouvoir pour rester en tête de ce risque.

Nous constatons les résultats du retardement du travail acharné sur le changement climatique. Nous avons appris énormément de choses, mais ce n'est qu'une fraction de ce dont nous avons besoin pour commencer à guérir notre planète. Nous ne comprenons pas vraiment comment mettre cette connaissance à profit alors que nous poussons littéralement à contre-courant. Les dommages qui en résultent sont déjà énormes et certains sont probablement irréversibles de notre vivant – voire même ceux des enfants de nos enfants.

Nous ne pouvons pas commettre la même erreur en matière d’IA. Si nous attendons que les systèmes de décision basés sur l'IA révèlent des biais et autres défauts cachés dans nos données, il sera trop tard. Que cela nous plaise ou non, ces puissants outils sont placés sur le tranchant d’un couteau: faites-le bien et nous pourrions réaliser un énorme gain; se tromper, et nous sommes condamnés à vivre avec les conséquences imprévues.

Il est temps de commencer. Nous avons besoin des esprits brillants qui conçoivent ces systèmes et imaginent comment les utiliser pour centrer leur attention sur la compréhension de ce qui se passe réellement dans les boîtes noires de nos référentiels de données et processus informatiques. Nous devons être en mesure de voir où résident les propriétés inhérentes à ces systèmes et comment ils pourraient interagir.

Ces risques découleront de la profondeur des données, des processus et des décisions. Ils ne seront pas évidents. Et ils se propageront à travers les réseaux commerciaux massivement interconnectés. Ces risques ne peuvent être traités qu'en les associant correctement aux points de décision basés sur l'IA / DI (à travers les couches de contexte). Cela nécessite d'investir maintenant et de gérer ces risques dans la configuration de base des systèmes d'IA / DI.

Nous devons nous pencher sur l'avenir pour déterminer où et comment les risques liés à l'IA vont apparaître. Et nous devons partager cette connaissance avec tous ceux qui ont un intérêt dans ce projet, qui est tout le monde sur cette planète. C'est la seule façon dont nous pouvons espérer parvenir à un consensus sur le niveau de risque que nous pouvons accepter et sur les règles que nous devons mettre en place pour les contrôler.

Il est temps d'adopter une nouvelle discipline en matière de gestion des risques

La bonne nouvelle est la suivante: lorsque les nouvelles disciplines d'ingénierie qui ont construit les avions et les gratte-ciel ont émergé, des pratiques robustes d'assurance qualité et de gestion des risques se sont développées parallèlement. Ces disciplines ont appris à détecter, atténuer et éliminer les conséquences inattendues de ces nouvelles technologies puissantes.

En prenant l'IA et l'ID aussi au sérieux que les disciplines d'ingénierie, ce qui implique de reconnaître que les modèles d'IA et d'ID sont des artefacts qui doivent être gérés de manière rigoureuse. tout espoir d'obtenir le meilleur de ces nouveaux outils puissants tout en limitant les conséquences négatives.

En conclusion, chacun de nous contribue à cette nouvelle discipline.

• Les développeurs devraient aller Au-delà de la simple création de bonnes données de formation, prenez en compte le contexte plus général dans lequel ces données ont été développées pour comprendre toute sélection ou tout autre biais qu’elle peut contenir. Au fur et à mesure que les développeurs construisent des modèles, nous devons aller au-delà de l'évaluation de leur précision pour modéliser le contexte de prise de décision dans lequel nos modèles seront utilisés et cartographier leurs effets au sein et au-delà de l'organisation qui les utilisera. Nous devrions également ajouter autant que possible des points d'inspection et de contrôle humains, d'autant plus que nos systèmes deviennent de plus en plus complexes.

• Les décideurs économiques devraient aider les développeurs à s'efforcer, comme précédemment, de répondre à des questions plus larges concernant l'impact de leurs modèles d'IA et d'ID.

• Les décideurs devraient parrainer des programmes qui créent la nouvelle discipline de la gestion des risques d'IA / ID et des technologies de pointe menant à la transparence et à la responsabilité. Les décideurs devraient insister pour que des réponses rigoureuses soient apportées aux conséquences imprévues de cette technologie puissante.

• Les gestionnaires de risques devraient étendre les initiatives de gestion des risques informatiques aux risques de modèle et de décision (les décisions impliquent généralement plusieurs modèles, comme ci-dessus) et créer des structures collaboratives permettant à de multiples parties prenantes de participer à l'identification, à l'examen et à l'atténuation des risques découlant de l'automatisation des prévisions et des décisions prises auparavant uniquement par des humains.

Pour en savoir plus sur ce sujet, voir “ Le côté humain de l'apprentissage automatique .”

<! – Commentaires ->