Pourquoi l'utilisation effrayante de l'IA par les écoles publiques américaines devrait vous effrayer

À travers les États-Unis, les écoles publiques continuent de dépenser des millions pour mettre en œuvre des solutions de surveillance utilisant l'IA, censées prévenir ou atténuer la violence. Le seul problème: la plupart d’entre eux ne fonctionnent pas. Les écoles américaines rivalisent maintenant avec celles de la Chine en matière de surveillance omniprésente, mais nos étudiants restent les plus exposés au risque de violence parmi les pays développés. Qu'est-ce qui donne?

Les idées semblent bonnes. Les adultes ne peuvent absolument pas voir et entendre tout ce qui se passe sur un campus scolaire, aussi les nouvelles entreprises commercialisent-elles des solutions de surveillance automatisées pour combler les lacunes.

Une entreprise affirme que ses systèmes de reconnaissance faciale auraient pu empêcher le massacre de Parkland . Une autre start-up spécialisée dans la détection des coups de feu affirme que ses «détecteurs d’agression» peuvent alerter le personnel de la violence avant même qu’elle se produise . Mais les politiciens, les administrateurs d’écoles publiques et les enseignants ne sont peut-être pas les mieux placés pour déterminer l’efficacité de ces programmes.

Un rapport récent de de Pro Publica et Wired ont montré que les détecteurs d'agression sont fondamentalement inutiles. Après des tests et des expériences approfondis, ils ont déterminé que ces systèmes étaient inexplicablement prédisposés à la fois aux faux positifs et aux signes auditifs d’agression manquants. Selon leurs conclusions:

Pour tester l'algorithme, ProPublica a acheté un microphone à Louroe Electronics et a licencié le logiciel de détection d'agression. Nous avons recâblé l'appareil afin de pouvoir mesurer sa sortie tout en testant des clips audio préenregistrés. Nous avons ensuite enregistré des lycéens et examiné quels types de sons déclenchaient le détecteur.

Nous avons constaté que les vocalisations aiguës, rugueuses et tendues avaient tendance à déclencher l'algorithme. Par exemple, cela provoquait souvent des sons comme rire, tousser, encourager et discuter fort. Alors que les étudiantes du secondaire avaient tendance à déclencher de faux positifs en chantant, en riant et en parlant, leurs cris aigus échouaient souvent.

Et ces systèmes de reconnaissance faciale? C’est un cauchemar logistique qui dépend des agresseurs pour suivre un protocole très spécifique. Kevin Freiburger, directeur des solutions d'identité à Valid a déclaré à TNW:

La reconnaissance des visages pourrait être une autre application susceptible de réduire la violence. Par exemple, si une personne menace de causer du tort à une institution ou à une infrastructure critique, ce visage peut être ajouté à une liste noire à partir de n’importe quelle photo du sujet. Si une caméra ou un capteur reconnaît ce visage et le fait correspondre à une liste noire, il peut produire un drapeau qui peut déclencher une action (verrouille une porte, alerte de sécurité pour identifier la personne, etc.).

Dans le cas de Nikolas Cruz, accusé d'avoir tué 17 personnes dans un lycée de Floride, il avait déjà pénétré auparavant dans cette école. Il a été escorté hors de la propriété et banni par un ordre permanent lui interdisant l'entrée dans le ou les bâtiments. Un système de contrôle d'accès basé sur la reconnaissance faciale aurait-il pu produire un résultat différent?

Le problème est que, pour que cela fonctionne, les écoles doivent devenir des prisons. Verrouiller un campus n’est efficace que si l’ensemble du complexe est suffisamment sécurisé pour empêcher toute entrée. Pire encore, pour refuser une entrée potentielle au jeu de tir, ils doivent figurer sur une liste d'interdictions et l'IA doit reconnaître leur visage. Bien que ce type de système ait pu empêcher Cruz d’entrer, car il n’était plus étudiant, cela n’aurait pas empêché Eric Harris et Dylan Klebold d’entrer à Columbine High School si cette technologie avait été disponible et utilisée il ya 20 ans.

En d'autres termes: la surveillance audio et la reconnaissance faciale peuvent alerter les autorités dès le début d'une fusillade – et ainsi potentiellement sauver des vies en réduisant le temps de réponse – mais elles ne seront probablement pas en mesure d'arrêter ou de prévenir une violence catastrophique dans les écoles.

TNW a parlé à Sean McGrath, expert en protection de la vie privée numérique chez ProPrivacy qui nous a dit:

Il est peu probable que la surveillance accrue empêche quelqu'un de nuire à autres. Même si un logiciel de surveillance basé sur l'IA pourrait prévenir d'une manière ou d'une autre les professionnels de la sécurité d'une situation qui s'aggrave, il est peu probable que le résultat change. Après tout, une balle ira toujours plus vite que ceux qui sont chargés de répondre à une alerte de surveillance.

En réalité, ces technologies représentent une menace beaucoup plus grande pour la société que la menace de violence de masse. Il est parfaitement compréhensible que les institutions universitaires et autres organisations souhaitent utiliser tous les outils afin de protéger le public, mais les technologies d'écoute ne sont rien d'autre qu'une forme de dérive de fonction.

Le plus gros problème ici est que l'audio alimenté par l'IA et la vidéosurveillance est de plus en plus acceptée comme un mode de vie pour les citoyens américains – à l'instar de en Chine – et le gouvernement prétend que c'est pour notre bien, mais les experts affirment qu'il ne résoudra pas les problèmes il est déployé pour . Si notre vie privée est érodée, nous devrions obtenir quelque chose de tangible en retour.

Cela ne veut pas dire que l’IA ne devrait pas être utilisée pour atténuer le problème de la violence aux États-Unis. L'IA, en tant que technologie générale, peut certainement intervenir dans des situations de violence. Par exemple, Freiburger nous a également dit:

Prenons par exemple le système de plaques d’immatriculation de NYC. Les lecteurs peuvent être montés sur des véhicules urbains, des intersections et d’autres infrastructures urbaines. Les données peuvent ensuite être collectées par les lecteurs grâce à une base de données qui permet aux utilisateurs autorisés de suivre le mouvement d'un véhicule dans toute la zone de couverture. Si une personne commet un acte violent et qu'un témoin oculaire enregistre un numéro de plaque d'immatriculation, ce système peut fournir une rétroaction en temps réel du mouvement de ce véhicule au fur et à mesure de son déplacement, ce qui peut empêcher les futurs actes de violence de se produire.

Mais ces systèmes sont réactifs et ciblés . Ils n'enregistrent pas tout ce que vos enfants disent et font dans les écoles et ils ne prétendent pas réellement arrêter ou empêcher la violence de masse. La surveillance audio et vidéo, même alimentée par une IA, ne peut intervenir avant la prise de vue. Les robots des réseaux sociaux – l'IA de surveillance ciblée qui recherche les menaces des étudiants des réseaux sociaux – utilisent par contre les données accessibles au public .

McGrath pense que nous devrions nous concentrer sur la lutte contre les causes profondes de violence dans la société plutôt que d’adopter des technologies de surveillance de masse «juste à temps». Il poursuit:

La surveillance persistante affecte le comportement humain à un niveau fondamental. Nos écoles et universités ont toujours été des environnements favorisant l'exploration académique et nourrissant les esprits curieux. En mettant en œuvre des technologies de surveillance dominantes, nous mettons en péril ces principes.

Mais il est peut-être trop tard pour que les États-Unis retirent les systèmes de surveillance de masse du public ou commencent à réglementer ces prétendues solutions à la violence de masse. Ils se trouvent déjà dans nos écoles publiques, nos bibliothèques et nos systèmes de transport en commun. Comme le dit David Carroll, le professeur américain qui a affronté Cambridge Analytica, : les États-Unis et la Chine sont tous deux des États sous surveillance, la Chine ne fait que l'appliquer.