7 catastrophes célèbres de l'analytique et de l'IA

En 2017,L'Economiste a déclaré que les données, plutôt que le pétrole, étaient devenues la ressource la plus précieuse au monde. Le refrain a été répété depuis. Les organisations de tous les secteurs ont investi et continuent d'investir massivement dans les données et l'analyse. Mais comme le pétrole, les données et les analyses ont leur côté obscur.

Selon le rapport State of the CIO 2022 du CIO, 35 % des responsables informatiques affirment que les analyses de données et d'entreprise entraîneront le plus d'investissements informatiques dans leur organisation cette année. Et 20 % des responsables informatiques affirment que l'apprentissage automatique/l'intelligence artificielle entraînera le plus d'investissements informatiques. Les informations tirées des analyses et des actions pilotées par les algorithmes d'apprentissage automatique peuvent donner aux organisations un avantage concurrentiel, mais les erreurs peuvent être coûteuses en termes de réputation, de revenus ou même de vies.

Comprendre vos données et ce qu'elles vous disent est important, mais il est également important de comprendre vos outils, de connaître vos données et de garder fermement à l'esprit les valeurs de votre organisation.

Voici une poignée d'analyses de haut niveau et d'erreurs d'IA de la dernière décennie pour illustrer ce qui peut mal tourner.

Les algorithmes d'IA identifient tout sauf le COVID-19

Depuis le début de la pandémie de COVID-19, de nombreuses organisations ont cherché à appliquer des algorithmes d'apprentissage automatique (ML) pour aider les hôpitaux à diagnostiquer ou à trier les patients plus rapidement. Mais selon le Turing Institute du Royaume-Uni, un centre national pour la science des données et l'IA, leles outils prédictifs n'ont fait que peu ou pas de différence.

Examen de la technologie MIT a fait la chronique d'un certain nombre d'échecs, dont la plupart proviennent d'erreurs dans la façon dont les outils ont été formés ou testés. L'utilisation de données mal étiquetées ou de données provenant de sources inconnues était un coupable courant.

Derek Driggs, chercheur en apprentissage automatique à l'Université de Cambridge, avec ses collègues,a publié un article dans Nature Machine Intelligence qui a exploré l'utilisation de modèles d'apprentissage en profondeur pour diagnostiquer le virus. L'article a déterminé que la technique n'était pas adaptée à une utilisation clinique. Par exemple, le groupe de Driggs a découvert que son propre modèle était défectueux car il était formé sur un ensemble de données qui comprenait des scans de patients allongés pendant le scan et de patients debout. Les patients allongés étaient beaucoup plus susceptibles d'être gravement malades, de sorte que l'algorithme a appris à identifier le risque de COVID en fonction de la position de la personne dans l'analyse.

Un exemple similaire comprend un algorithme formé avec un ensemble de données qui comprenait des scans de la poitrine d'enfants en bonne santé. L'algorithme a appris à identifier les enfants, pas les patients à haut risque.

Zillow a écrit des millions de dollars, réduit la main-d'œuvre en raison d'un désastre algorithmique d'achat de maison

En novembre 2021, la place de marché immobilier en ligne Zillowdit aux actionnaires il mettrait fin à ses opérations Zillow Offers et réduirait 25% des effectifs de l'entreprise – environ 2 000 employés – au cours des prochains trimestres. Les malheurs de l'unité de retournement de maisons étaient le résultat du taux d'erreur dans l'algorithme d'apprentissage automatique qu'il utilisait pour prédire les prix des maisons.

Zillow Offers était un programme par lequel la société a fait des offres en espèces sur des propriétés basées sur une « estimation » des valeurs de la maison dérivée d'un algorithme d'apprentissage automatique. L'idée était de rénover les propriétés et de les retourner rapidement. Mais un porte-parole de Zillowdit à CNNque l'algorithme avait un taux d'erreur médian de 1,9 % et que le taux d'erreur pouvait être beaucoup plus élevé, jusqu'à 6,9 %, pour les maisons hors marché.

CNN a rapporté que Zillow avait acheté 27 000 maisons via Zillow Offers depuis son lancement en avril 2018, mais n'en avait vendu que 17 000 jusqu'à la fin septembre 2021. Des événements de cygne noir comme la pandémie de COVID-19 et une pénurie de main-d'œuvre pour la rénovation domiciliaire ont contribué aux problèmes de précision de l'algorithme.

Zillow a déclaré que l'algorithme l'avait conduit à acheter involontairement des maisons à des prix plus élevés que ses estimations actuelles des prix de vente futurs, entraînant une dépréciation des stocks de 304 millions de dollars au troisième trimestre 2021.

Lors d'une conférence téléphonique avec des investisseurs à la suite de l'annonce, le co-fondateur et PDG de Zillow, Rich Barton, a déclaré qu'il serait peut-être possible de modifier l'algorithme, mais qu'en fin de compte, c'était trop risqué.

Le Royaume-Uni a perdu des milliers de cas de COVID en dépassant la limite de données du tableur

En octobre 2020, Public Health England (PHE), l'organisme gouvernemental britannique chargé de comptabiliser les nouvelles infections au COVID-19, a révélé que près de 16 000 cas de coronavirus n'avaient pas été signalés entre le 25 septembre et le 2 octobre. Le coupable ? Limitations des données dans Microsoft Excel.

PHE utilise un processus automatisé pour transférer les résultats de laboratoire positifs au COVID-19 sous forme de fichier CSV dans des modèles Excel utilisés par les tableaux de bord de rapport et pour la recherche des contacts. Malheureusement, les feuilles de calcul Excel peuvent avoir unmaximum de 1 048 576 lignes et 16 384 colonnes par feuille de calcul. De plus, PHE listait les cas en colonnes plutôt qu'en lignes. Lorsque les cas ont dépassé la limite de 16 384 colonnes, Excel a coupé les 15 841 enregistrements en bas.

Le "pépin" n'a pas empêché les personnes qui ont été testées de recevoir leurs résultats, mais il a contrecarré les efforts de recherche des contacts, ce qui a rendu plus difficile pour le National Health Service (NHS) du Royaume-Uni d'identifier et d'informer les personnes qui étaient en contact étroit avec des patients infectés. . Dans une déclaration du 4 octobre, Michael Brodie, directeur général par intérim de PHE, a déclaré que NHS Test and Trace et PHE avaient résolu le problème rapidement et transféré immédiatement tous les cas en suspens dans le système de recherche des contacts NHS Test and Trace.

PHE a mis en place une « atténuation rapide » qui divise les fichiers volumineux et a effectué un examen complet de bout en bout de tous les systèmes pour éviter des incidents similaires à l'avenir.

L'algorithme de santé n'a pas réussi à signaler les patients noirs

En 2019,une étude publiée dans Sciencea révélé qu'un algorithme de prédiction des soins de santé, utilisé par les hôpitaux et les compagnies d'assurance à travers les États-Unis pour identifier les patients nécessitant des programmes de «gestion des soins à haut risque», était beaucoup moins susceptible de distinguer les patients noirs.

Les programmes de gestion des soins à haut risque fournissent du personnel infirmier qualifié et un suivi des soins primaires aux patients atteints de maladies chroniques dans le but de prévenir les complications graves. Mais l'algorithme était beaucoup plus susceptible de recommander des patients blancs pour ces programmes que des patients noirs.

L'étude a révélé que l'algorithme utilisait les dépenses de santé comme indicateur indirect pour déterminer les besoins en soins de santé d'un individu. Mais selonScientifique Américainles coûts des soins de santé des patients noirs plus malades étaient à égalité avec les coûts des personnes blanches en meilleure santé, ce qui signifiait qu'ils recevaient des scores de risque plus faibles même lorsque leurs besoins étaient plus importants.

Les chercheurs de l'étude ont suggéré que quelques facteurs pourraient avoir contribué. Premièrement, les personnes de couleur sont plus susceptibles d'avoir des revenus plus faibles, ce qui, même lorsqu'elles sont assurées, peut les rendre moins susceptibles d'accéder aux soins médicaux. Un biais implicite peut également amener les personnes de couleur à recevoir des soins de moindre qualité.

Bien que l'étude n'ait pas nommé l'algorithme ou le développeur, les chercheurs ont déclaré à Scientific American qu'ils travaillaient avec le développeur pour remédier à la situation.

Dataset a formé le chatbot Microsoft pour cracher des tweets racistes

En mars 2016, Microsoft a appris que l'utilisation des interactions Twitter comme données de formation pour les algorithmes d'apprentissage automatique peut avoir des résultats consternants.

Microsoft a publié Tay, un chatbot IA, sur la plate-forme de médias sociaux. La société l'a décrit comme une expérience de "compréhension conversationnelle". L'idée était que le chatbot assumerait la personnalité d'une adolescente et interagirait avec des individus via Twitter en utilisant une combinaison d'apprentissage automatique et de traitement du langage naturel. Microsoft l'a ensemencé avec des données publiques anonymisées et du matériel pré-écrit par des comédiens, puis l'a lâché pour apprendre et évoluer à partir de ses interactions sur le réseau social.

En 16 heures, le chatbot a publié plus de 95 000 tweets, et ces tweets sont rapidement devenus ouvertement racistes, misogynes et antisémites. Microsoft a rapidement suspendu le service pour des ajustements et a finalement débranché.

"Nous sommes profondément désolés pour les tweets offensants et blessants involontaires de Tay, qui ne représentent pas qui nous sommes ou ce que nous représentons, ni comment nous avons conçu Tay", Peter Lee, vice-président d'entreprise, Microsoft Research & Incubations (alors vice-président d'entreprise président de Microsoft Healthcare), a écrit dans unpublier sur le blog officiel de Microsoftsuite à l'incident.

Lee a noté que le prédécesseur de Tay, Xiaoice, publié par Microsoft en Chine en 2014, avait réussi à avoir des conversations avec plus de 40 millions de personnes au cours des deux années précédant la sortie de Tay. Ce que Microsoft n'a pas pris en compte, c'est qu'un groupe d'utilisateurs de Twitter commencerait immédiatement à tweeter des commentaires racistes et misogynes à Tay. Le bot a rapidement appris de ce matériel et l'a incorporé dans ses propres tweets.

"Bien que nous nous soyons préparés à de nombreux types d'abus du système, nous avions effectué une surveillance critique pour cette attaque spécifique. En conséquence, Tay a tweeté des mots et des images extrêmement inappropriés et répréhensibles », a écrit Lee.

Comme de nombreuses grandes entreprises, Amazon est avide d'outils qui peuvent aider sa fonction RH à filtrer les candidatures pour les meilleurs candidats. En 2014, Amazon a commencé à travailler sur un logiciel de recrutement basé sur l'IA pour faire exactement cela. Il n'y avait qu'un seul problème : le système préférait largement les candidats masculins. En 2018,Reuters a annoncé la nouvellequ'Amazon avaitabandonné le projet.

Le système d'Amazon a donné aux candidats des notes par étoiles de 1 à 5. Mais les modèles d'apprentissage automatique au cœur du système ont été formés sur 10 ans de CV soumis à Amazon – la plupart d'entre eux provenant d'hommes. À la suite de ces données de formation, le système a commencé à pénaliser les phrases dans le CV qui incluaient le mot "femmes" et a même déclassé les candidats des collèges réservés aux femmes.

À l'époque, Amazon avait déclaré que l'outil n'avait jamais été utilisé par les recruteurs d'Amazon pour évaluer les candidats.

L'entreprise a essayé de modifier l'outil pour le rendre neutre, mais a finalement décidé qu'elle ne pouvait pas garantir qu'elle n'apprendrait pas une autre manière discriminatoire de trier les candidats et a mis fin au projet.

L'analyse des cibles a violé la confidentialité

En 2012, un projet d'analyse du géant de la vente au détail Target a montré à quel point les entreprises peuvent en apprendre sur leurs clients à partir de leurs données.Selon le New York Times , en 2002, le service marketing de Target a commencé à se demander comment il pouvait déterminer si les clientes étaient enceintes. Cette piste d'enquête a conduit à un projet d'analyse prédictive qui conduirait le détaillant à révéler par inadvertance à la famille d'une adolescente qu'elle était enceinte. Cela, à son tour, conduirait à toutes sortes d'articles et de blogs marketing citant l'incident dans le cadre de conseils pour éviter le "facteur effrayant".

Le service marketing de Target voulait identifier les femmes enceintes parce qu'il y a certaines périodes de la vie, la grossesse en premier lieu, où les gens sont les plus susceptibles de changer radicalement leurs habitudes d'achat. Si Target pouvait atteindre les clients au cours de cette période, il pourrait, par exemple, cultiver de nouveaux comportements chez ces clients, les amenant à se tourner vers Target pour l'épicerie, les vêtements ou d'autres biens.

Comme tous les autres grands détaillants, Target collectait des données sur ses clients via des codes d'achat, des cartes de crédit, des enquêtes, etc. Il a mélangé ces données avec des données démographiques et des données tierces achetées. L'analyse de toutes ces données a permis à l'équipe d'analyse de Target de déterminer qu'il y avait environ 25 produits vendus par Target qui pouvaient être analysés ensemble pour générer un score de "prédiction de grossesse". Le service marketing pourrait alors cibler les clients les plus performants avec des coupons et des messages marketing.

Des recherches supplémentaires révéleraient que l'étude du statut reproductif des clients pourrait sembler effrayante pour certains de ces clients. Selon le Times, la société n'a pas reculé devant son marketing ciblé, mais a commencé à mélanger des publicités pour des choses qu'elle savait que les femmes enceintes n'achèteraient pas – y compris des publicités pour les tondeuses à gazon à côté des publicités pour les couches – pour faire le mix publicitaire se sentir aléatoire pour le client.