6 risques commerciaux liés au manque de respect de l’éthique et de la gouvernance de l’IA

Selon lequel Terminateur films que vous regardez, l’intelligence artificielle maléfique Skynet a déjà pris le contrôle de l’humanité ou est sur le point de le faire. Mais les auteurs de science-fiction ne sont pas les seuls à s’inquiéter des dangers d’une IA incontrôlée.

Dans un Enquête 2019 par Emerj, une société de recherche et de conseil en IA, 14% des chercheurs en IA ont déclaré que l’IA était une «menace existentielle» pour l’humanité. Même si l’apocalypse de l’IA ne se produit pas, le fait de contourner l’éthique de l’IA pose de gros risques pour la société – et pour les entreprises qui déploient ces systèmes d’IA.

Au cœur de ces risques se trouvent des facteurs inhérents à la technologie – par exemple, comment un système d’IA particulier arrive à une conclusion donnée, connu sous le nom de son « explicabilité » – et ceux endémiques à l’utilisation de l’IA par une entreprise, y compris la dépendance à des ensembles de données biaisés ou le déploiement de l’IA sans gouvernance adéquate en place.

Et bien que l’IA puisse fournir aux entreprises un avantage concurrentiel de diverses manières, de la découverte d’opportunités commerciales négligées à la rationalisation de processus coûteux, les inconvénients de l’IA sans une attention adéquate accordée à Gouvernance de l’IAl’éthique et réglementation en évolution peut être catastrophique.

Les problèmes de mise en œuvre réels suivants mettent en évidence les principaux risques dont chaque responsable informatique doit tenir compte lors de l’élaboration de la stratégie de déploiement de l’IA de son entreprise.

Catastrophes de relations publiques

Le mois dernier, un document Facebook divulgué obtenus par Motherboard ont montré que Facebook n’a aucune idée de ce qui se passe avec les données de ses utilisateurs.

« Nous n’avons pas un niveau adéquat de contrôle et d’explicabilité sur la façon dont nos systèmes utilisent les données », a déclaré le document, qui a été attribué aux ingénieurs de la confidentialité de Facebook.

Aujourd’hui, l’entreprise fait face à un « tsunami de réglementations entrantes », selon le document, auquel elle ne peut pas faire face sans des investissements pluriannuels dans les infrastructures. En particulier, la société a une faible confiance dans sa capacité à résoudre les problèmes fondamentaux liés à l’apprentissage automatique et aux applications d’IA, selon le document. « Il s’agit d’un nouveau domaine de réglementation et nous verrons très probablement de nouvelles exigences dans les années à venir. Nous sommes très peu convaincus que nos solutions sont suffisantes. »

Cet incident, qui donne un aperçu de ce qui peut mal tourner pour toute entreprise qui a déployé l’IA sans une gouvernance adéquate des donnéesn’est que la dernière d’une série d’entreprises de premier plan qui ont vu leur Les catastrophes de relations publiques liées à l’IA font la une des journaux.

En 2014, Amazon a créé un logiciel de recrutement basé sur l’IA qui préférait massivement les candidats masculins.

En 2015, l’application Photos de Google a qualifié les photos de Noirs de « gorilles ». N’apprenant pas de cette erreur, Facebook a dû s’excuser pour une erreur similaire l’automne dernier, lorsqu’on a demandé à ses utilisateurs s’ils voulaient « continuer à voir des vidéos sur les primates » après avoir regardé une vidéo mettant en scène des hommes noirs.

Le chatbot Tay de Microsoft, lancé sur Twitter en 2016, a rapidement commencé à cracher des messages racistes, misogynes et antisémites.

La mauvaise publicité est l’une des plus grandes craintes des entreprises lorsqu’il s’agit de projets d’IA, déclare Ken Adler, responsable de la pratique de la technologie et de l’approvisionnement au sein du cabinet d’avocats Loeb & Loeb.

« Ils sont préoccupés par la mise en œuvre d’une solution qui, à leur insu, a un parti pris intégré », dit-il. « Cela pourrait être n’importe quoi – racial, ethnique, de sexe. »

Impact social négatif

Les systèmes d’IA biaisés causent déjà des dommages. Un algorithme de crédit qui discrimine les femmes ou un outil de recommandation des ressources humaines qui ne propose pas de cours de leadership à certains employés désavantageront ces personnes.

Dans certains cas, ces recommandations peuvent littéralement être une question de vie ou de mort. C’était le cas dans un hôpital communautaire avec lequel Carm Taglienti, un éminent ingénieur d’Insight, a déjà travaillé.

Les patients qui viennent aux urgences d’un hôpital ont souvent des problèmes autres que ceux pour lesquels ils sont spécifiquement là, dit Taglienti. « Si vous venez à l’hôpital en vous plaignant de douleurs à la poitrine, il peut également y avoir un problème sanguin ou un autre problème contributif », explique-t-il.

L’équipe de science des données de cet hôpital particulier avait construit un système pour identifier ces comorbidités. Le travail était crucial étant donné que si un patient arrive à l’hôpital et a un deuxième problème potentiellement mortel mais que l’hôpital ne le détecte pas, alors le patient pourrait être renvoyé chez lui et finir par mourir.

La question était cependant de savoir à quel moment les médecins devaient-ils agir sur la recommandation du système d’IA, compte tenu des considérations sanitaires et des limites des ressources de l’hôpital ? Si une corrélation découverte par l’algorithme est faible, les médecins pourraient soumettre les patients à des tests inutiles qui seraient une perte de temps et d’argent pour l’hôpital. Mais si les tests ne sont pas effectués et qu’un problème survient qui pourrait s’avérer mortel, de plus grandes questions se posent sur la valeur du service que l’hôpital fournit à sa communauté, surtout si ses algorithmes suggèrent la possibilité, même si elle est rare.

C’est là que l’éthique entre en jeu, dit-il. « Si j’essaie de faire l’approche utilitaire, du plus bon pour la plupart des gens, je pourrais vous traiter que vous en ayez besoin ou non. »

Mais ce n’est pas une solution pratique lorsque les ressources sont limitées.

Une autre option consiste à collecter de meilleures données d’entraînement pour améliorer les algorithmes afin que les recommandations soient plus précises. L’hôpital l’a fait en investissant davantage dans la collecte de données, explique Taglieti.

Mais l’hôpital a également trouvé des moyens de rééquilibrer l’équation autour des ressources, ajoute-t-il. « Si la science des données vous dit qu’il vous manque des comorbidités, faut-il toujours que ce soit un médecin qui voit les patients ? Pouvons-nous utiliser des infirmières praticiennes à la place? Pouvons-nous automatiser ?

L’hôpital a également créé un mécanisme de planification des patients, afin que les personnes qui n’avaient pas de fournisseurs de soins primaires puissent consulter un médecin des urgences à des moments où l’urgence était moins occupée, comme au milieu d’une journée de semaine.

« Ils ont pu se concentrer sur le résultat net tout en utilisant la recommandation de l’IA et en améliorant les résultats », dit-il.

Systèmes qui ne passent pas l’examen réglementaire

Sanjay Srivastava, stratège numérique en chef chez Genpact, a travaillé avec une grande société mondiale de services financiers qui cherchait à utiliser l’IA pour améliorer ses décisions de prêt.

Une banque n’est pas censée utiliser certains critères, tels que l’âge ou le sexe, lorsqu’elle prend certaines décisions, mais il ne suffit pas de retirer les données d’âge ou de sexe des données de formation à l’IA, car les données peuvent contenir d’autres informations. qui est corrélé à l’âge ou au sexe.

« L’ensemble de données de formation qu’ils ont utilisé avait beaucoup de corrélations », dit-il. « Cela les a exposés à une plus grande empreinte de risque qu’ils ne l’avaient prévu. »

La banque a fini par devoir revenir à l’ensemble de données de formation et retrouver et supprimer tous ces autres points de données, un processus qui les a retardés de plusieurs mois.

La leçon ici était de s’assurer que l’équipe qui construit le système n’est pas seulement des scientifiques des données, dit-il, mais comprend également un ensemble diversifié d’experts en la matière. « Ne faites jamais un projet d’IA avec des data scientists seuls », dit-il.

La santé est un autre secteur dans lequel le non-respect des exigences réglementaires peut renvoyer tout un projet au point de départ. C’est ce qui est arrivé à une société pharmaceutique mondiale travaillant sur un vaccin COVID.

« De nombreuses sociétés pharmaceutiques ont utilisé l’IA pour trouver des solutions plus rapidement », déclare Mario Schlener, responsable mondial des risques pour les services financiers chez Ernst & Young. Une entreprise a fait de bons progrès dans la création d’algorithmes, dit-il. « Mais en raison d’un manque de gouvernance entourant leur processus de développement d’algorithmes, cela a rendu le développement obsolète. »

Et parce que l’entreprise n’a pas pu expliquer aux régulateurs le fonctionnement des algorithmes, elle a fini par perdre neuf mois de travail au plus fort de la pandémie.

Amendes RGPD

Le règlement général de l’UE sur la protection des données est l’une des lois les plus strictes au monde en matière de protection des données, avec des amendes pouvant atteindre 20 millions d’euros ou 4 % du chiffre d’affaires mondial, selon le montant le plus élevé. Depuis l’entrée en vigueur de la loi en 2018, plus de 1 100 amendes ont été infligées et les totaux ne cessent d’augmenter.

Le RGPD et les réglementations similaires émergeant à travers le monde limitent la manière dont les entreprises peuvent utiliser ou partager des données privées sensibles. Étant donné que les systèmes d’IA nécessitent d’énormes quantités de données pour la formation, sans pratiques de gouvernance appropriées, il est facile d’enfreindre les lois sur la confidentialité des données lors de la mise en œuvre de l’IA.

« Malheureusement, il semble que de nombreuses organisations aient une attitude » nous l’ajouterons quand nous en aurons besoin « à l’égard de la gouvernance de l’IA », déclare Mike Loukides, vice-président du contenu technologique émergent chez O’Reilly Media. « Attendre que vous en ayez besoin est un bon moyen de garantir que vous êtes trop en retard. »

Le L’Union européenne travaille également sur une loi sur l’IA, qui créerait un nouvel ensemble de réglementations spécifiquement autour de l’intelligence artificielle. La loi sur l’IA a été proposée pour la première fois au printemps 2021 et pourrait être approuvée dès 2023. Le non-respect entraînera une série de sanctions, y compris des sanctions financières pouvant atteindre 6 % des revenus mondiaux, voire plus que le RGPD.

Systèmes non réparables

En avril, une voiture autonome exploitée par Cruise, une société de voitures autonomes soutenue par General Motors, a été arrêtée par la police parce qu’elle roulait sans ses phares allumés. Le vidéo d’un policier confus s’approchant de la voiture et découvrir qu’il n’avait pas de pilote est rapidement devenu viral.

La voiture a ensuite démarré, puis s’est arrêtée de nouveau, permettant aux policiers de rattraper leur retard. Comprendre pourquoi la voiture a fait cela peut être délicat.

« Nous devons comprendre comment les décisions sont prises dans les voitures autonomes », déclare Dan Simion, vice-président de l’IA et de l’analyse chez Capgemini. « Le constructeur automobile doit être transparent et expliquer ce qui s’est passé. La transparence et l’explicabilité sont des composantes de l’IA éthique.

Trop souvent, Les systèmes d’IA sont des « boîtes noires » impénétrables», fournissant peu d’informations sur la façon dont ils tirent des conclusions. En tant que tel, trouver la source d’un problème peut être très difficile, ce qui laisse planer le doute sur la possibilité de résoudre le problème.

« À terme, je pense que des réglementations vont arriver, en particulier lorsque nous parlons de voitures autonomes, mais aussi pour les décisions autonomes dans d’autres industries », déclare Simion.

Mais les entreprises ne devraient pas attendre pour intégrer l’explicabilité dans leurs systèmes d’IA, dit-il. Il est plus facile et moins cher à long terme d’intégrer l’explicabilité à partir de zéro, au lieu d’essayer de l’ajouter à la fin. De plus, il existe des raisons immédiates, pratiques et commerciales de créer une IA explicable, déclare Simion.

Au-delà des avantages de relations publiques de pouvoir expliquer pourquoi le système d’IA a fait ce qu’il a fait, les entreprises qui adoptent l’explicabilité seront également en mesure de résoudre les problèmes et de rationaliser les processus plus facilement.

Le problème était-il dans le modèle ou dans sa mise en œuvre ? Était-ce dans le choix des algorithmes ou une lacune dans l’ensemble de données d’entraînement ?

Les entreprises qui utilisent des outils tiers pour tout ou partie de leurs systèmes d’IA doivent également travailler avec leurs fournisseurs pour exiger que leurs produits soient explicables.

Risques liés au sentiment des employés

Lorsque les entreprises construisent des systèmes d’IA qui violent la vie privée des utilisateurs, qui sont biaisés ou qui nuisent à la société, cela change la façon dont leurs propres employés les voient.

Les employés veulent travailler dans des entreprises qui partagent leurs valeurs, déclare Steve Mills, responsable de l’éthique de l’IA au Boston Consulting Group. « Un grand nombre d’employés quittent leur emploi pour des raisons éthiques », dit-il. « Si vous voulez attirer des talents techniques, vous devez vous soucier de la manière dont vous allez résoudre ces problèmes. »

Selon un enquête publiée par Gartner plus tôt cette année, les attitudes des employés envers le travail ont changé depuis le début de la pandémie. Près des deux tiers ont repensé la place que le travail devrait avoir dans leur vie, et plus de la moitié ont déclaré que la pandémie les avait amenés à remettre en question le but de leur travail quotidien et leur avait donné envie de contribuer davantage à la société.

Et, l’automne dernier, un étude réalisée par Blue Beyond Consulting et Future Workplace démontré l’importance des valeurs. Selon le sondage, 52 % des travailleurs quitteraient leur emploi — et seulement 1 sur 4 en accepterait un — si les valeurs de l’entreprise n’étaient pas conformes à leurs valeurs. De plus, 76 % ont déclaré s’attendre à ce que leur employeur soit une force pour le bien dans la société.

Même si les entreprises peuvent lancer des programmes d’éthique de l’IA pour des raisons réglementaires ou pour éviter une mauvaise publicité, à mesure que ces programmes mûrissent, les motivations changent.

« Ce que nous commençons à voir, c’est qu’ils ne commencent peut-être pas de cette façon, mais ils finissent par considérer que c’est une question d’objectif et de valeurs », déclare Mills. « Cela devient une question de responsabilité sociale. Une valeur fondamentale de l’entreprise.