Fermer

décembre 31, 2019

Voici 5 choses qui me font peur à propos de l'IA


L'IA est de plus en plus utilisée pour prendre des décisions importantes. De nombreux experts en IA (dont Jeff Dean chef de l'IA chez Google et Andrew Ng fondateur de Coursera et deeplearning.ai) disent que des avertissements sur les robots sensibles sont exagérés, mais d'autres préjudices ne reçoivent pas assez d'attention. Je suis d'accord. Je suis chercheur en IA et Je suis inquiet de certains des impacts sociétaux que nous constatons déjà.

Avant de plonger, je dois clarifier un point c'est important à comprendre: les algorithmes (et les systèmes complexes dont ils font partie) peuvent faire des erreurs. Ces erreurs proviennent de diverses sources: bogues dans le code, données inexactes ou biaisées, approximations que nous devons faire (par exemple, vous voulez mesurer la santé et vous utilisez les réadmissions à l'hôpital comme proxy, ou vous êtes intéressé par le crime et utilisez des arrestations comme un proxy. Ces choses sont liées, mais pas les mêmes), les malentendus entre les différentes parties prenantes (décideurs, ceux qui collectent les données, ceux qui codent l'algorithme, ceux qui les déploient), comment les systèmes informatiques interagissent avec les systèmes humains, et plus encore. [19659007] Les algorithmes sont souvent mis en œuvre sans moyens de corriger les erreurs

Après l'état de L'Arkansas a mis en œuvre un logiciel pour déterminer les prestations de soins de santé des personnes, de nombreuses personnes ont vu une réduction drastique de la quantité de soins qu'elles reçu, mais n'a reçu aucune explication et aucun moyen de faire appel. Tammy Dobbs, une femme atteinte de paralysie cérébrale qui a besoin d'une aide pour l'aider à sortir du lit, à aller aux toilettes, à se procurer de la nourriture, etc. Pour le pire. Finalement, un long procès a révélé des erreurs dans la mise en œuvre du logiciel, et les heures de Tammy ont été rétablies (ainsi que celles de beaucoup d'autres qui ont été affectées par les erreurs).

Les observations de la classe de Sarah Wysocki, enseignante de cinquième année, ont donné des critiques positives. Son directeur adjoint a écrit « C'est un plaisir de visiter une salle de classe dans laquelle les éléments d'un bon enseignement, d'élèves motivés et d'un environnement d'apprentissage positif sont si efficacement combinés .» Deux mois plus tard , Elle a été licenciée par un algorithme opaque, avec plus de 200 autres enseignants. Le chef de la PTA et un parent d'un des élèves de Wyscoki l'ont décrite comme « l'une des meilleures enseignantes avec qui j'ai jamais été en contact. Chaque fois que je la voyais, elle était attentive aux enfants, reprenait leurs devoirs, elle prenait du temps avec eux et s'assurait. "Que les gens perdent des soins de santé sans explication ou soient renvoyés sans explication est vraiment dystopique! [19659012] Titres de The Verge et du Washington Post

Comme je l'ai couvert dans un article précédent les gens utilisent les sorties d'algorithmes différemment de celles utilisées par les humains:

Il y a beaucoup de chevauchement entre ces facteurs. Si la principale motivation pour la mise en œuvre d'un algorithme est la réduction des coûts, l'ajout d'un processus d'appel (ou même la vérification diligente des erreurs) peut être considéré comme une dépense «inutile». Cathy O'Neill, qui a obtenu son doctorat en mathématiques à Harvard, a écrit un livre Weapons of Math Destruction dans lequel elle explique comment les algorithmes ont un impact disproportionné sur les pauvres, alors que les privilégiés sont plus susceptibles d'avoir toujours accès à l'attention humaine (embauche, éducation, etc.).

L'IA permet de ne pas se sentir responsable

Revenons au cas du logiciel buggy utilisé pour déterminer les avantages pour la santé dans Arkansas. Comment cela aurait-il pu être évité? Afin d'empêcher les personnes gravement handicapées de perdre par erreur l'accès aux soins de santé nécessaires, nous devons parler de responsabilité. Malheureusement, les systèmes complexes se prêtent à une dynamique dans laquelle personne ne se sent responsable du résultat.

Le créateur de l'algorithme des prestations de soins de santé, Brant Fries (qui a touché des redevances sur cet algorithme, qui est utilisé dans plus de la moitié des 50 États), a blâmé les décideurs des États. Je suis sûr que les décideurs politiques de l’État pourraient blâmer les exécutants du logiciel. Lorsqu'on lui a demandé s'il devait y avoir un moyen de communiquer le fonctionnement de l'algorithme aux personnes handicapées qui perdent leurs soins de santé, Fries a dit d'un ton calleux: « C'est probablement quelque chose que nous devrions faire. Oui, je devrais aussi probablement dépoussiérer sous mon lit », puis il a précisé plus tard qu'il pensait que c'était la responsabilité de quelqu'un d'autre.

Ce transfert de responsabilité et le manque de prise de responsabilité sont courants dans de nombreuses bureaucraties. Comme danah boyd l'a observé La bureaucratie a souvent été utilisée pour déplacer ou éluder la responsabilité. Qui tenez-vous responsable dans un système complexe? Boyd donne des exemples de hauts fonctionnaires de l'Allemagne nazie, qui ne se considéraient pas comme responsables de l'Holocauste. Les systèmes algorithmiques d'aujourd'hui étendent la bureaucratie.

Un autre exemple de personne qui ne se sent pas responsable vient du cas de la recherche pour classer la criminalité des gangs . Une base de données de membres de gangs réunie par le service de police de Los Angeles (et 3 autres organismes californiens d'application de la loi) a été trouvée comme ayant 42 bébés âgés de moins de 1 an lorsqu'ils ont été ajoutés à la base de données sur les gangs (28 auraient admis être membres d'un gang). Gardez à l'esprit que ce ne sont que quelques-unes des erreurs les plus évidentes – nous ne savons pas combien d'autres personnes ont été faussement incluses. Lorsque les chercheurs ont présenté des travaux sur l'utilisation de l'apprentissage automatique sur ces données pour classer les crimes de gangs, un membre du public a posé des questions sur les préoccupations éthiques . " Je ne suis qu'un ingénieur ", a répondu l'un des auteurs.

Je n'évoque pas cela dans le but principal de pointer du doigt ou de blâmer. Cependant, un monde de systèmes complexes dans lesquels personne ne se sent responsable des résultats (qui peut inclure des personnes gravement handicapées perdant l'accès aux soins de santé dont elles ont besoin ou des personnes innocentes étiquetées comme membres d'un gang) n'est pas un endroit agréable. Notre travail est presque toujours un petit morceau d'un ensemble plus large, mais un sens des responsabilités est nécessaire pour essayer de traiter et de prévenir les résultats négatifs.

L'IA code et amplifie le biais

Mais le biais algorithmique n'est-il pas simplement le reflet de comment le monde est? On me pose une variante de cette question à chaque fois Je donne un discours sur les préjugés . À laquelle ma réponse est: Non, nos algorithmes et produits ont un impact sur le monde et font partie de boucles de rétroaction . Considérez un algorithme pour prédire le crime et déterminer où envoyer des policiers: envoyer plus de policiers dans un quartier particulier n'est pas seulement un effet, mais aussi une cause




Source link

Revenir vers le haut