10 catastrophes célèbres causées par l’intelligence artificielle

L’étude a ensuite révélé que les prévisions utilisaient les dépenses de santé comme indicateur pour déterminer les besoins d’un individu en matière de soins de santé. Mais deuxièmement Américain scientifique [in inglese]les coûts des soins de santé des patients noirs les plus malades étaient comparables à ceux des patients blancs en meilleure santé, ce qui signifie qu’ils recevaient des scores de risque plus faibles même lorsque leurs besoins étaient les plus grands.

Les chercheurs de l’étude ont suggéré que plusieurs facteurs contribuaient à cette erreur. Premièrement, les personnes de couleur sont plus susceptibles d’avoir des revenus inférieurs, ce qui, même lorsqu’elles sont assurées, peut les rendre moins susceptibles d’accéder aux soins médicaux. Des préjugés implicites peuvent également amener les Noirs à recevoir des soins de moindre qualité.

Bien que l’étude n’ait pas nommé l’algorithme ni le développeur, les chercheurs ont déclaré qu’un Américain scientifique qui travaillent à résoudre la situation.

L’ensemble de données qui a entraîné le chatbot de Microsoft à publier des tweets racistes

En mars 2016, Microsoft a appris que l’utilisation des interactions sur Twitter comme données de formation pour les algorithmes ML [in inglese] peut produire des résultats déconcertants.

Lorsqu’elle a lancé Tay, un chatbot IA, sur la plateforme de médias sociaux, la société l’a décrit comme une expérience de « compréhension conversationnelle ». L’idée était que le chatbot prenne l’apparence d’une adolescente et interagisse avec les gens via Twitter, en utilisant une combinaison de ML et de traitement du langage naturel. Microsoft l’a alimenté avec des données publiques anonymisées et du matériel rédigé à l’avance par les auteurs, puis l’a laissé libre d’apprendre et d’évoluer grâce à ses interactions sur le réseau social.

En 16 heures, le chatbot a publié plus de 95 000 tweets, qui se sont révélés ouvertement racistes, misogynes et antisémites. Microsoft a rapidement suspendu le service, puis a décidé de le débrancher définitivement.

« Nous regrettons profondément les tweets offensants par inadvertance de Tay, qui ne représentent pas qui nous sommes ou ce que nous défendons, ni comment nous avons conçu le système », a écrit Peter Lee, vice-président de Microsoft Research & Incubations (et par la suite vice-président de Microsoft Healthcare). , dans un article sur le blog officiel [in inglese] de l’entreprise après l’accident.

Lee a noté que le prédécesseur de Tay, Xiaoice, lancé par Microsoft en Chine en 2014, avait mené avec succès des conversations avec plus de 40 millions de personnes au cours des deux années précédant la sortie de Tay. Ce que Microsoft n’a pas pris en compte, c’est qu’un groupe d’utilisateurs de Twitter commencerait immédiatement à tweeter des commentaires racistes et misogynes à l’encontre de Tay. Le robot a rapidement appris de ce matériel et l’a intégré dans ses propres tweets.

« Bien que nous nous soyons préparés à de nombreux types d’abus du système, nous avons effectué une surveillance critique de ce type d’attaque spécifique. En conséquence, Tay a tweeté des mots et des images inappropriés et répréhensibles », a écrit Lee.

L’outil de recrutement d’Amazon basé sur l’IA qui sélectionne uniquement les hommes

Comme beaucoup de grandes entreprises, Amazon est toujours à la recherche d’outils pouvant aider sa division RH à sélectionner les meilleurs candidats. En 2014, l’entreprise a commencé à travailler sur un logiciel de recrutement basé sur l’IA. Il n’y avait qu’un seul problème : le système préférait largement les candidats masculins. En 2018, Reuters rapporte la nouvelle [in inglese] de l’abandon du projet par Amazon [in inglese].

La plateforme attribuait aux candidats une note de 1 à 5. Mais les modèles ML qui la sous-tendaient avaient été formés sur 10 ans d’expérience. programme d’études envoyés en Amazonie, la plupart par des hommes. À la suite de cette formation, le système a commencé à pénaliser les curriculum vitae contenant le mot « féminin » et a même déclassé les candidats des collèges exclusivement féminins.

À l’époque, Amazon avait déclaré que l’outil n’avait jamais été utilisé par les recruteurs d’Amazon pour évaluer les candidats, puis avait tenté de le modifier pour le rendre neutre, décidant finalement qu’il ne pouvait garantir aucune autre discrimination sans risque dans la sélection des candidats. abandonner l’initiative.