Par Todd Feathers
En 2018, le conseil municipal de New York a créé un groupe de travail pour étudier l'utilisation par la ville des systèmes de décision automatisés (ADS ). Le souci : les algorithmes, non seulement à New York mais dans tout le pays, étaient de plus en plus utilisés par les agences gouvernementales pour tout faire, de l'information des condamnations pénales à la détection des fraudes au chômage, en passant par la hiérarchisation des cas de maltraitance des enfants et la distribution des prestations de santé. Et les législateurs, sans parler des personnes régies par les décisions automatisées, ne savaient pas grand-chose sur la façon dont les calculs étaient effectués. recevront des aides à domicile ont automatiquement coupé les prestations pour des milliers. Les services de police de tout le pays utilisent le logiciel PredPol pour prédire où les crimes futurs se produiront, mais le programme envoie de manière disproportionnée la police dans les quartiers noirs et hispaniques. Et dans le Michigan, un algorithme conçu pour détecter les demandes de chômage frauduleuses a signalé à tort des milliers de candidats, forçant les résidents qui auraient dû recevoir de l'aide à perdre leur maison et déposer le bilan .
La ville de New York a été la première. la législation du pays visait à faire la lumière sur la façon dont les agences gouvernementales utilisent l'intelligence artificielle pour prendre des décisions concernant les personnes et les politiques. cela inaugurerait une nouvelle ère de surveillance. Et en effet, au cours des quatre années qui ont suivi, un flux constant de rapports sur les dommages causés par les algorithmes à enjeux élevés a incité les législateurs de tout le pays à présenter près de 40 projets de loi conçus pour étudier ou réglementer l'utilisation de l'ADS par les agences gouvernementales, selon The Markup's examen de la législation de l'État.
Les projets de loi vont des propositions de création de groupes d'étude à l'obligation pour les agences de vérifier les algorithmes pour déceler les biais avant d'acheter des systèmes aux fournisseurs. Mais les dizaines de réformes proposées ont partagé un destin commun : elles sont en grande partie soit mortes immédiatement après leur introduction, soit expirées en comités après de brèves audiences, selon l'étude de The Markup.
À New York, ce groupe de travail initial a mis deux ans à faire un ensemble de recommandations générales et non contraignantes pour des recherches et une surveillance plus poussées. Un membre du groupe de travail a décrit l'entreprise comme un « gaspillage ». , ont déclaré qu'ils ne pensaient pas que les agences et les fonctionnaires municipaux aient accepté le processus.
Ailleurs, presque toutes les propositions visant à étudier ou à réglementer les algorithmes n'ont pas abouti. Les projets de loi visant à créer des groupes d'étude pour examiner l'utilisation d'algorithmes ont échoué dans le Massachusetts, l'État de New York, la Californie, Hawaï et la Virginie. Des projets de loi exigeant des audits d'algorithmes ou interdisant la discrimination algorithmique sont morts en Californie, dans le Maryland, dans le New Jersey et dans l'État de Washington. Dans plusieurs cas (Californie, New Jersey, Massachusetts, Michigan et Vermont), des projets de loi sur la surveillance ou l'étude de l'ADS restent en instance devant la législature, mais leurs perspectives cette session sont minces, selon les sponsors et les défenseurs de ces États.
Le seul État. Le projet de loi à adopter jusqu'à présent, celui du Vermont a créé un groupe de travail dont les recommandations – pour former une commission permanente de l'IA et adopter des règlements – ont jusqu'à présent été ignorées, a déclaré le représentant de l'État Brian Cina à The Markup.
Le balisage. interrogé des législateurs et des lobbyistes et examiné des témoignages écrits et oraux sur des dizaines de projets de loi ADS pour examiner pourquoi les législatures n'ont pas réussi à réglementer ces outils. utilisent, comment ils sont conçus et dans quelle mesure ils influencent les décisions. Dans de nombreux États examinés par The Markup, les législateurs et les militants ont déclaré que les agences d'État avaient repoussé leurs tentatives de recueillir des informations de base, telles que les noms des outils utilisés.
Pendant ce temps, Big Tech et les entrepreneurs du gouvernement ont réussi à faire dérailler la législation en faisant valoir que les propositions sont trop larges – prétendant dans certains cas qu'elles empêcheraient les fonctionnaires d'utiliser des calculatrices et des tableurs – et qu'exiger des agences qu'elles examinent si un système ADS est discriminatoire tuerait l'innovation et augmenterait le prix des marchés publics.
Les législateurs ont eu du mal à comprendre. Quels algorithmes étaient même utilisés
L'un des plus grands défis auxquels les législateurs ont été confrontés lorsqu'ils cherchent à réglementer les outils ADS est simplement de savoir ce qu'ils sont et ce qu'ils font.
Suite au rapport historique de son groupe de travail, la ville de New York a mené une enquête enquête ultérieure auprès des agences de la ville. Cela a abouti à une liste de seulement 16 systèmes de décision automatisés dans neuf agences, que les membres du groupe de travail ont déclaré à The Markup qu'ils soupçonnaient une grave sous-estimation.
« Nous ne savons pas réellement où les entités gouvernementales ou les entreprises utilisent ces systèmes, il est donc difficile de rendre [regulations] plus concret », a déclaré Julia Stoyanovich, professeur d'informatique à l'Université de New York et membre du groupe de travail.
En 2018, le Vermont est devenu le premier État à créer son propre groupe d'étude ADS . À la fin de ses travaux en 2020, le groupe a signalé qu' « il existe des exemples où les gouvernements étatiques et locaux ont utilisé des applications d'intelligence artificielle, mais en général, le groupe de travail n'a pas identifié beaucoup de ces applications ».
« Ce n'est pas parce que rien n'est apparu en quelques semaines de témoignages qu'ils n'existent pas », a déclaré Cina. "Ce n'est pas comme si nous avions demandé à chaque agence d'État d'examiner chaque chose qu'elle utilise."
En février, il a présenté un projet de loi qui aurait obligé l'État à développer des normes de base pour l'utilisation des systèmes ADS par les agences. Il a siégé en commission sans audition depuis lors.
En 2019, le Sénat d'Hawaï a adopté une résolution demandant que l'État convoque un groupe de travail pour étudier l'utilisation par les agences des systèmes d'intelligence artificielle, mais la résolution a été non contraignant et aucun groupe de travail n'a été convoqué, selon le Bureau de référence législatif d'Hawaï. Les législateurs ont tenté à nouveau d'adopter une résolution contraignante l'année suivante, mais cela a échoué .
qu'ils n'ont pas une compréhension claire de la mesure dans laquelle leurs agences gouvernementales utilisent les outils ADS.
« Les résultats que nous obtenons sont des non-réponses directes ou vraiment des arrachements de dents à propos de chaque petite chose », a déclaré Ben Winters, qui dirige le projet d'IA et de droits de l'homme de l'EPIC.
À Washington, après un Le projet de loi sur la réglementation ADS a échoué en 2020, le législateur a créé un groupe d'étude chargé de faire des recommandations pour une future législation. L'ACLU de Washington a proposé que le groupe enquête sur les agences d'État pour recueillir plus d'informations sur les outils qu'ils utilisaient, mais le groupe d'étude a rejeté l'idée, selon les minutes publiques des réunions du groupe.
" Nous pensions que c'était une simple demande », a déclaré Jennifer Lee, chef de projet technologie et liberté pour l'ACLU de Washington. « L'un des obstacles que nous avons rencontrés lorsque nous avons parlé aux législateurs de la réglementation de l'ADS est qu'ils ne comprenaient pas à quel point le problème était répandu. Ils n'arrêtaient pas de demander : « Quels types de systèmes sont utilisés dans l'État de Washington ? » » que le groupe d'étude a terminé son rapport finala déclaré le sénateur de l'État Bob Hasegawa, le parrain du projet de loi
La législation aurait obligé toute agence d'État cherchant à mettre en œuvre un système ADS à produire un rapport de responsabilité algorithmique divulguant les le nom et l'objectif du système, les données qu'il utiliserait et si le système avait été testé de manière indépendante pour détecter les biais, entre autres exigences.
Le projet de loi aurait également interdit l'utilisation d'outils ADS discriminatoires et exigerait que toute personne affectée par une décision algorithmique être notifié et avoir le droit de faire appel de cette décision.
« Le gros obstacle est l'influence des entreprises dans nos processus gouvernementaux », a déclaré Hasegawa. « Washington est un État assez high-tech et la haute technologie des entreprises a donc beaucoup d'influence sur nos systèmes ici. C'est de là que vient la plupart des réticences, car les communautés touchées sont à peu près unanimes pour dire que cela doit être corrigé. Il encourage, mais n'oblige pas, les fournisseurs cherchant à vendre des outils ADS à des agences gouvernementales à soumettre un rapport d'impact ADS avec leur offre, qui inclurait des divulgations similaires à celles requises par le projet de loi de Washington.
Il obligerait également le département d'État à of Technology pour publier les rapports d'impact pour les systèmes actifs sur son site Web.
Dirigé par la Chambre de commerce de Californie, 26 groupes industriels, des représentants des grandes technologies comme l'Internet Association et TechNet aux organisations représentant les banques, les compagnies d'assurance et les appareils médicaux. « Il y a beaucoup d'intérêts commerciaux ici, et ils ont les oreilles de nombreux législateurs », a déclaré Vinhcent Le, conseiller juridique à la à but non lucratif Greenlining Institute, qui a aidé à rédiger le projet de loi. « Lorsque nous l'avons réduit aux seuls systèmes d'IA du gouvernement, nous avons pensé que cela faciliterait les choses », a déclaré Le. "L'argument [from industry] est passé à" Cela va coûter des millions de plus aux contribuables californiens. " Cet angle de coût, cet angle d'innovation, cet angle anti-business est quelque chose qui préoccupe les législateurs. "
La Chambre de commerce de Californie a refusé une demande d'interview pour cette histoire mais a fourni une copie de la lettre signée par des dizaines de groupes industriels s'opposant au projet de loi. La lettre indique que le projet de loi « découragerait la participation au processus d'approvisionnement de l'État », car le projet de loi encourage les fournisseurs à effectuer une évaluation d'impact pour leurs outils. La lettre disait que la suggestion, qui n'est pas une exigence, était trop lourde. La chambre a également fait valoir que la définition du projet de loi des systèmes de décision automatisés était trop large. ]Les cadres éthiques de l'IAles réglementations au Canadaet les réglementations proposées dans l'Union européenne.
Au cours d'une audition en comité sur le projet de loi de Washington, James McMahan, directeur des politiques de la L'Association des shérifs et des chefs de police de Washington a déclaré aux législateurs qu'il pensait que le projet de loi s'appliquerait à « la plupart sinon à toutes » les opérations du laboratoire criminel de l'État, y compris l'analyse de l'ADN, des empreintes digitales et des armes à feu.
Vicki Christophersen, lobbyiste de l'Internet Association, témoignant à la même audience, a suggéré que le projet de loi interdirait l'utilisation de caméras aux feux rouges. L'Internet Association n'a pas répondu à une demande d'interview.
« C'est un sujet de discussion amusant », a déclaré Le. « En fait, nous avons dû mettre un langage pour dire que cela n'inclut pas de calculatrice ou de feuille de calcul. »
Le projet de loi du Maryland, qui est mort en commission, aurait également exigé des agences qu'elles produisent des rapports détaillant l'objectif et les fonctions de base des outils ADS et aurait interdit l'utilisation de systèmes discriminatoires.
« Nous ne vous disons pas que vous ne pouvez pas le faire [use ADS] », a déclaré la déléguée Terri Hill, qui a parrainé le projet de loi sur le Maryland. "Nous disons simplement d'identifier quels sont vos préjugés dès le départ et d'identifier s'ils sont cohérents avec les objectifs généraux de l'État et avec cet objectif."
Le Maryland Tech Council, un groupe industriel représentant les petites et grandes entreprises technologiques dans le État, s'est opposé au projet de loi, arguant que les interdictions contre la discrimination étaient prématurées et nuiraient à l'innovation dans l'État, selon les témoignages écrits et oraux fournis par le groupe. zone, et nous dirions qu'au nom du conseil technique, mettre en place cela en ce moment va plus loin que nous en sommes », a déclaré Pam Kasemeyer, la lobbyiste du conseil, lors d'une audience du comité en mars sur le projet de loi. « Cela arrête presque le désir des entreprises de continuer à essayer de les développer et de les affiner de peur qu'elles ne soient considérées comme discriminatoires. »
Succès limité dans le secteur privé
les législatures nationales et locales pour réglementer l'utilisation des systèmes ADS par les entreprises privées – comme celles que The Markup a exposées dans les filtrage des locataires et les industries de l'assurance automobile – mais ces dernières années, ces mesures ont a été légèrement plus réussie. Les outils sont utilisés par de nombreux employeurs pour sélectionner les candidats à un poste sans avoir recours à un intervieweur humain. cependant, pour être trop faible.
L'Illinois a également promulgué une loi d'État en 2019 qui oblige les employeurs privés à informer les candidats lorsqu'ils sont évalués par des outils de recrutement algorithmiques. Et en 2021, la législature a modifié la loi pour obliger les employeurs qui utilisent de tels outils à déclarer des données démographiques sur les candidats à un emploi à une agence d'État afin qu'elles soient analysées à la recherche de preuves de décisions biaisées.
Cette année, la législature du Colorado a également adopté une loi. loiqui entrera en vigueur en 2023, qui créera un cadre d'évaluation des algorithmes de souscription d'assurance et interdira l'utilisation d'algorithmes discriminatoires dans l'industrie.
Cet article a été initialement publié sur The Markup. et a été republié sous la licence Creative Commons Attribution-NonCommercial-NoDerivatives
.
Source link