Les algorithmes prédictifs infiltrent les écoles – voici pourquoi c'est une bonne chose

Il y a quelques semaines, une histoire a révélé que le département de police de la Nouvelle-Orléans avait utilisé un outil de police prédictif fourni par Palantir, une société d'extraction de données soutenue par la CIA, pour identifier les membres des gangs. Le logiciel identifiait les liens entre les membres de gangs et les non-membres de gangs, analysait les antécédents criminels, explorait les médias sociaux et, finalement, prédit la probabilité que des individus commettent des actes de violence. Prévisible, l'indignation s'ensuivit. Mais cette utilisation de l'analyse prédictive pour identifier le risque n'est pas nouvelle: elle a été utilisée dans de nombreuses villes des États-Unis, dans des opérations de contre-espionnage et – c'est le tour – dans les écoles.

L'identification des risques est devenue un terme très en vogue dans le système scolaire public américain. Les districts veulent réduire les taux de décrochage, et une panoplie d'outils basés sur les données ont vu le jour qui utilisent des analyses prédictives dérivées de données acquises de manière douteuse afin d'identifier les étudiants à risque. Prévenir l'abandon, comme la prévention du crime, est un objectif noble et digne. Mais la raison pour laquelle la police prédictive a inspiré l'indignation, c'est que les algorithmes tendent à perpétuer le biais systémique, et ne fonctionnent que par la collecte de fardeaux de données – des données que les gens ignorent ne sont pas collectées.

La ​​montée de l'analyse prédictive dans des institutions comme les écoles et les systèmes de justice pénale soulève une série de questions éthiques que j'ai décrit ci-dessous. Mais le fait est que ces algorithmes sont là pour rester – et, je le défends, c'est une bonne chose. Les questions qu'ils soulèvent – sur le racisme, la propriété des données et l'éthique de la prédiction du crime – sont des questions que nous aurions dû examiner pendant des décennies.

1. Qui est propriétaire des données d'un mineur?

Lors d'une audience du Congrès 2015 sur l'influence des technologies émergentes sur la vie privée des étudiants, un représentant a demandé un résumé de la quantité de données collectées sur les étudiants. Joel Reidenberg, directeur du Centre de droit et de politique de l'information à la Fordham Law School, a rapidement répondu: «Pensez George Orwell, et prenez-le au nième degré.»

Il n'est pas illégal pour les écoles de collecter des données – des notes, des résultats aux tests, aux recherches sur internet, aux notes comportementales – mais beaucoup de parents sont extrêmement mal à l'aise de ne pas être informés des données précisément collectées, et surtout, de la façon dont c'est utilisé. En fait, en 2012, les parents ont découvert que Bloom, société de 100 millions de dollars, collectait et partageait des données sur les étudiants avec des vendeurs et d'autres tiers . L'indignation de masse s'ensuivit, et chaque état et district réagit en se retirant des contrats inBloom, entraînant la fermeture de l'entreprise en 2014.

Depuis lors, cependant, des sociétés telles que Hoonuit et Microsoft est intervenu discrètement pour desservir les districts scolaires qui cherchent à réduire le taux d'abandon. En fait, le gouvernement fédéral a mandaté pour que chaque État recueille des données sur les élèves à partir du préscolaire dans un système de données longitudinales. Les données de ce référentiel comprennent des informations médicales, des réponses à des enquêtes, des services à l'enfance, le système de justice pénale et les services de santé. En vertu de la loi FERPA, les dossiers médicaux et de counseling inclus dans les dossiers d'éducation ne sont pas protégés par la loi HIPAA ce qui signifie que des informations physiques et mentales sensibles peuvent être partagées avec des tiers sans le consentement parental.

2. Est-ce que le biais systémique inhérent à l'algorithme aide ou nuit aux élèves à risque?

Les algorithmes prédisent un comportement futur basé sur les précédents. Mais lorsque les précédents montrent des pourcentages plus élevés de comportements à risque chez les minorités, l'algorithme prédit ensuite que les minorités sont plus à risque que les non-minorités. Ce n'est cependant pas nécessairement une lecture exacte. Une étude récente a constaté que tous les crimes commis n'ont pas la même chance d'être enregistrés par la police – par exemple, les crimes dans les zones fortement patrouillées sont plus susceptibles d'être signalés que les crimes dans les quartiers à revenu élevé. petite patrouille.

Cette même logique s'applique aux écoles: le racisme enraciné et d'autres formes de préjugés amènent les enseignants (qui ne sont pas infaillibles) à signaler certains comportements pour un enfant plus que ces mêmes comportements pour un autre. Cela enseigne à l'algorithme d'imiter ces mêmes biais, perpétuant ainsi le biais systémique.

3. Est-il éthique d'intervenir en fonction de prédictions fondées sur des données?

Telle est la question au cœur de la polémique sur la police utilisant l'analyse prédictive. L'idée de prédire le crime avant qu'il ne soit jamais arrivé est décidément dystopique – après tout, à quel moment un crime devient-il un crime? Cela dit, intervenir pour aider les élèves à réussir est un objectif beaucoup plus noble que de punir un futur criminel.

Si vous identifiez mal un élève comme «à risque» et que vous essayez de l'aider, il est difficile d'imaginer ce retour de flamme de la même manière que le fait de traquer les criminels potentiels. Le pire des cas est un enfant qui se sent contrarié d'être placé dans un programme d'intervention quand ce n'est pas nécessairement nécessaire.

L'analyse prédictive n'est pas la bête que nous pensons

La réalité est que tous les systèmes de prévention et de punition ont toujours été prédictifs. Le système de libération conditionnelle, par exemple, est essentiellement une évaluation qualitative de la probabilité de récidive d'une personne (évaluation prédictive). De même, les systèmes d'intervention dans les écoles ont identifié les élèves «à risque» à travers le profilage pendant des décennies – un système marqué par des préjugés. L'analyse prédictive rend ces systèmes déjà existants plus transparents. Et les gens sont contrariés parce qu'ils voient enfin la laideur qui est et a toujours été la justice prédictive.

L'analyse prédictive réduit les personnes à un ensemble de points de données. Mais nous, les humains, faisons de même, nous avons aussi tendance à donner plus de poids aux mauvais points de données – tels que l'apparence et le fond. Ce système est moche – mais au lieu d'une structure totalement différente, la transparence offerte par l'analyse prédictive est souhaitable. Si l'algorithme est raciste, nous pouvons corriger cela beaucoup plus facilement que nous pouvons réparer une personne raciste.

Le véritable inconvénient de l'utilisation de l'analytique est la confidentialité des données – une question qui est au cœur des débats nationaux qui se déroulent aujourd'hui. Lorsque vous traitez des données sur les enfants, il est important de savoir comment les districts utilisent et distribuent les données qu'ils collectent, en particulier lorsqu'ils n'utilisent pas de système propriétaire (nous avons tous vu ce qui peut arriver avec des violations de données tierces) !).

Il y aura des violations de données, et il y aura des entreprises qui volent illégalement des informations à partir de systèmes d'analyse prédictive. Mais le coût de la prise de décision basée sur les données est compensé par les avantages de pouvoir examiner, de manière qualitative, comment nous faisons des prédictions sur le comportement humain.