La première partie d'une série en deux parties sur la gestion des risques par modèle dans les domaines de l'intelligence artificielle et de l'intelligence décisionnelle de l'entreprise.
Ces dernières années, l'intelligence artificielle (AI) a cessé de fonctionner fourrage pour la fiction post-apocalyptique à la réalité parfois dystopique. La technologie a également permis plusieurs progrès précieux dans les services aux consommateurs.
À ce jour, les risques et les avantages d’Amnesty International sont restés largement limités aux applications destinées aux consommateurs. Et bien que la sécurité et d'autres risques imprévus et imprévus touchent de nombreuses personnes et semblent difficiles à corriger, les causes (cyberattaques, fausses informations et atteinte à la vie privée, par exemple) sont de mieux en mieux comprises.
Cependant, ces dernières années, L'intelligence artificielle et les technologies associées telles que Decision Intelligence (DI) sont allées au-delà de Silicon Valley et de Seattle pour pénétrer un nouveau type d'entreprise: la grande entreprise. Des sociétés telles que MasterCard Grainger, de Ford Motor Company et d’autres se tournent vers AI / DI pour obtenir un avantage concurrentiel. Reflétant cette maturation du marché, SAP, par exemple, a fait du lancement de SAP Leonardo – une cible spécifiquement destinée à l'apprentissage automatique dans l'entreprise – une priorité stratégique. Basées sur de grands magasins de données et utilisant les dernières méthodes d'IA rapides et de haute qualité, ces initiatives d'entreprise de SAP et autres accélèrent encore plus rapidement que la première vague de développements d'IA centrés sur le consommateur.
Data / AI / DI as as Facteurs de production inexploités
Les entreprises s'aperçoivent maintenant qu'avec la montée en puissance des outils basés sur l'IA, les données en tant que ressource sont au même niveau que les ressources naturelles, le travail et le capital en tant que quatrième facteur de production, qui est jusqu'ici largement inexploité (voir ci-dessous). Les opportunités qui se présenteront sont extraordinaires, car AI et les données alimenteront la croissance mondiale des entreprises pour les décennies à venir. 
C’est à la fois incroyablement excitant et de la plus grande prudence. Les algorithmes basés sur des données représentant les connaissances institutionnelles de toutes les entreprises de la planète ont le pouvoir de nuire à la fois. Une grande partie de la raison: ces données représentent également les biais des entreprises institutionnelles et leurs objectifs.
Les applications de l'IA / DI dans l'entreprise ont des conséquences potentielles d'une portée considérable: elles peuvent influer sur les politiques publiques, en particulier en ce qui concerne la gouvernance numérique et la perturbation des emplois, allocation de capital ou incitations accordées aux employés.
À mesure que les entreprises adoptent l'IA, le potentiel de préjudice est plus grand que pour les applications grand public. Les conséquences initialement contenues dans une entreprise donnée peuvent éventuellement devenir des conséquences macro-sociétales
De nombreuses entreprises sont aussi grandes que tous les États-nations, à l'exception des plus grands, en termes de contrôle des ressources, du travail et du capital. Les décisions qu’ils prennent déjà concernent directement toutes les facettes de la vie de milliards d’êtres humains. Avec l'IA, cette influence sera encore plus grande. Nous pouvons «surcharger» les bonnes ou les mauvaises décisions.
Prenons l'exemple de l'automatisation robotique des processus (RPA), une nouvelle forme d'automatisation des processus métier dans laquelle les travailleurs sont remplacés par des systèmes d'IA pour certaines parties d'un flux de processus. Selon RPA, l'automatisation de processus répétitifs et bien définis peut améliorer la productivité, notamment en supprimant les vitesses de travail variables et les erreurs inhérentes au travail humain. Cela peut générer de grands avantages financiers pour une organisation. La cartographie des processus et le nettoyage des données qui accompagnent la préparation du déploiement de RPA peuvent également porter leurs fruits immédiats et à long terme.
Cependant, une initiative de RPA bien réfléchie doit également prendre en compte les conséquences négatives imprévues. Les ordinateurs n'ont pas la capacité de faire plus qu'on ne leur dit, en particulier dans ce cas, pour reconnaître un événement négatif «inconnu inconnu» se produisant dans un flux de processus. En retirant les humains de ces processus, nous supprimons également un mécanisme de point de contrôle important pour éviter des situations qui n’avaient pas été anticipées par les concepteurs de processus ni par les données de formation rétrogrades utilisées pour créer l’IA. Le risque supplémentaire que ces modifications introduisent dans les processus automatisés doit être compris et atténué.
RPA introduit également des risques sociétaux et sociaux. Qu'advient-il des personnes dont les tâches sont automatisées par RPA?
Cette question n'est pas exclusive à RPA. De nombreux systèmes d'intelligence artificielle présentent cette même structure de risque: un avantage positif qui introduit un nouveau risque interne à l'organisation, ainsi qu'une possible externalité négative.
Le modèle de risque d'entreprise en IA / DI
Partant des risques liés aux données, et en mouvement Tout au long du potentiel des robots «surhumains», les risques liés au déploiement de l'IA et de l'ID dans l'entreprise peuvent être classés comme suit:
Présentation actuelle de la gestion des risques. : risques liés aux données
Comparez le modèle illustré ci-dessus à la gestion des risques informatiques aujourd’hui. Dans l'ensemble, les modèles et les pratiques actuels sont axés sur les risques de perte de données, qu'il s'agisse de corruption, de vol ou de perte d'accès.
Ces risques sont de mieux en mieux compris. Bien que la détection, la hiérarchisation et l'atténuation de ces risques prennent du temps et des ressources, il ne s'agit pas d'un problème opaque: nous pouvons comprendre le processus et nous mettre d'accord sur nos objectifs.
La gestion traditionnelle du risque est définie par normes industrielles telles que ITIL et Sarbanes-Oxley . La plupart des méthodologies de gestion des risques incluent une version des éléments suivants:
- Gestion des risques: Définir un cadre pour la quantification des risques (avec lesquels seront acceptés) et les rôles et responsabilités impliquant des risques au sein de l'organisation. [19659022] Analyse de l’impact des activités et des risques: Pour quantifier l’impact et la probabilité d’un risque et pour maintenir une liste de risques hiérarchisée en fonction de cet impact net.
- Atténuation des risques: Déterminer où les risques doivent être atténués et à identifier les propriétaires des risques qui doivent être tenus responsables de la gestion des mesures d'atténuation.
- Surveillance du risque: Suivre et corriger les contre-mesures.
Appliquées à l'informatique, ces mesures couvrent toujours au minimum l'administration de la sécurité, le contrôle des modifications d'application, la sauvegarde et la récupération des données, ainsi que le cycle de vie du développement des systèmes. Des contrôles plus spécifiques s'appliquent à des situations telles que l'externalisation du développement, l'utilisation de logiciels open source, les logiciels-services (SaaS), etc.).
Ce qui manque dans ces approches, c'est l'attention portée aux modèles intégrés dans les données protégées. . Ces modèles apparaissent lorsque ces données sont utilisées pour créer des modèles, puis ces modèles sont utilisés pour créer des systèmes. Le modèle de gestion des risques en est à ses balbutiements et ne concerne aujourd'hui que les institutions financières. Nous n'avons pas encore mis au point un modèle général des nouveaux types de risques qui apparaissent lorsque les données sont utilisées pour construire des modèles d'IA.
Que manque-t-il?
Plus précisément, de nombreux ensembles de données d'entreprise datent de plusieurs décennies et leurs créateurs d'origine. sont depuis longtemps passés ou décédés. Le contenu de ces référentiels a été déterminé en fonction de décisions fondamentales:
- Quelles données doivent être collectées?
- Comment ces données doivent-elles être stockées, classées et mises en réseau?
- Quels résultats commerciaux doivent être ciblés?
Ces résultats presque certainement n’a pas inclus l’utilisation de cet ensemble de données pour créer un modèle d’IA. Pour cette raison et bien d'autres, aucune collecte de données n'est un modèle parfait du monde. Ils incluent tous des biais et des désalignements qui peuvent être insidieux et aller bien au-delà des résultats commerciaux immédiats que nous recherchons. , et ils n’ont jamais fait appel à qui que ce soit au Mexique? Un système d'apprentissage automatique basé sur ces données aurait donc un «angle mort» mexicain.
Chaque fois qu'un humain interagit avec le système, qu'il s'agisse d'un agent CRM saisissant des données client ou d'un chercheur en marketing décidant qui appeler, de nouveaux biais de sélection comme celui-ci sont ajoutés. Et ce problème est omniprésent. Les bases de données ADN sont, en gros, " trop blanches. " Et les essais médicaux sont menés beaucoup plus souvent sur des hommes que sur des femmes .
La gestion des risques est centrée en soi: implications pour l'intelligence artificielle
Même si les données étaient miraculeusement dépourvues de biais cachés, la gestion des risques informatiques traditionnelle est centrée vers l'intérieur, sur les actifs, les processus et les résultats économiques de l'entreprise. À l'heure actuelle, peu d'évaluateurs des risques intègrent dans leurs évaluations les incidences sociétales plus larges des décisions de l'entreprise.
Avec l'IA, il sera essentiel d'étendre le cadre de gestion des risques pour prendre explicitement en compte ces externalités. Dans la carte de processus de risques ITIL par exemple, l'identification et la gestion des risques externes (sociétaux, écologiques, etc.) et l'identification et la gestion des biais structurels de données font défaut.
Quel est l'impact des risques de conception sur
Prenons un exemple de l’impact d’un tel biais structurel. Dans de O’Neil’s Weapons of Math Destruction l’auteur décrit un système scolaire qui utilisait un fournisseur externe pour classer les performances des enseignants. Une variable clé du système était la différence de performance entre les classes d’une enseignante d’une année sur l’autre.
En raison de son classement peu élevé dans ce système, une enseignante exceptionnelle de cinquième année, Sarah Wysocki, a été limogée. Ce n'est que des années plus tard qu'elle a appris que l'algorithme utilisé pour noter ses performances ne vérifiait pas les scores potentiellement gonflés artificiellement des anciens instructeurs. En d'autres termes, un facteur en dehors de l'algorithme a créé une conséquence imprévue. Ce schéma de facteurs extérieurs non modélisés imprègne de nombreuses histoires de risque d'entreprise.
Il n'y a pas de point d'échec évident qui mène au résultat négatif. C'est parce que le résultat émerge d'une chaîne de nombreux points de décision et que ces points de décision ne sont pas spécifiquement conçus sur la base d'un cadre bien pensé.
Il est important de noter que nous ne pouvons pas traiter de l'échec sans comprendre comment les liens influencent l'espace décisionnel.
À suivre dans la deuxième partie
Pour plus d'informations à ce sujet, voir Le côté humain de l'apprentissage automatique .
<! – Commentaires ->
Source link