L’IA a un problème de biais dangereux – voici comment le gérer

IA guide maintenant de nombreuses décisions qui changent la vie, de évaluer les demandes de prêt à détermination des peines de prison.

Les partisans de l’approche soutiennent qu’elle peut éliminer les préjugés humains, mais les critiques avertissent que algorithmes peuvent amplifier nos préjugés – sans même révéler comment ils ont pris la décision.

Cela peut entraîner des systèmes d’IA conduisant à Des Noirs arrêtés à tortou les services à l’enfance ciblant injustement les familles pauvres. Les victimes appartiennent souvent à des groupes déjà marginalisés.

Alejandro Saucedo, scientifique en chef chez L’Institut pour l’IA éthique et directeur de l’ingénierie chez ML startup Seldon, avertit les organisations de bien réfléchir avant de déployer des algorithmes. Il a donné à TNW ses conseils pour atténuer les risques.

Explicabilité

Apprentissage automatique les systèmes doivent assurer la transparence. Cela peut être un défi lors de l’utilisation de puissants modèles d’IA, dont les entrées, les opérations et les résultats ne sont pas évidents pour les humains.

L’explicabilité a été présentée comme une solution pendant des années, mais les approches efficaces restent insaisissables.

« Les outils d’explicabilité de l’apprentissage automatique peuvent eux-mêmes être biaisés », explique Saucedo. « Si vous n’utilisez pas l’outil approprié ou si vous utilisez un outil spécifique d’une manière incorrecte ou inadaptée, vous obtenez des explications incorrectes. C’est le paradigme logiciel habituel de l’entrée des déchets, de la sortie des déchets.

Bien qu’il n’y ait pas de solution miracle, la surveillance et la surveillance humaines peuvent réduire les risques.

Saucedo recommande d’identifier les processus et les points de contact qui nécessitent un humain dans la boucle. Cela implique d’interroger les données sous-jacentes, le modèle utilisé et tout biais qui apparaît lors du déploiement.

L’objectif est d’identifier les points de contact qui nécessitent une surveillance humaine à chaque étape du cycle de vie de l’apprentissage automatique.

Idéalement, cela garantira que le système choisi est adapté à l’usage et pertinent pour le cas d’utilisation.

Les experts du domaine peuvent également utiliser des explicateurs d’apprentissage automatique pour évaluer la prédiction du modèle, mais il est impératif qu’ils évaluent d’abord la pertinence du système.

« Quand je parle d’experts du domaine, je ne parle pas toujours de spécialistes des données techniques », déclare Saucedo. « Ils peuvent être des experts de l’industrie, des experts en politique ou d’autres personnes ayant une expertise dans le défi à relever. »

Responsabilité

Le niveau d’intervention humaine doit être proportionné aux risques. Un algorithme qui recommande des chansons, par exemple, ne nécessitera pas autant de surveillance qu’un algorithme qui dicte les conditions de mise en liberté sous caution.

Dans de nombreux cas, un système avancé ne fera qu’augmenter les risques. Les modèles d’apprentissage en profondeur, par exemple, peuvent ajouter une couche de complexité qui cause plus de problèmes qu’elle n’en résout.

« Si vous ne pouvez pas comprendre les ambiguïtés d’un outil que vous introduisez, mais que vous comprenez que les risques ont des enjeux élevés, cela vous indique que c’est un risque qui ne doit pas être pris », déclare Saucedo.

Les opérateurs de systèmes d’IA doivent également justifier le processus d’organisation autour des modèles qu’ils introduisent.

Cela nécessite une évaluation de l’ensemble de la chaîne d’événements qui mène à une décision, de l’obtention des données au résultat final.

Vous avez besoin d’un cadre de responsabilité

« Il est nécessaire d’assurer la responsabilité à chaque étape », déclare Saucedo. « Il est important de s’assurer qu’il existe des meilleures pratiques non seulement sur l’étape de l’explicabilité, mais aussi sur ce qui se passe quand quelque chose ne va pas. »

Cela comprend la fourniture d’un moyen d’analyser le cheminement vers le résultat, des données sur les experts du domaine impliqués et des informations sur le processus d’approbation.

« Vous avez besoin d’un cadre de responsabilité via une infrastructure robuste et un processus robuste qui implique des experts du domaine pertinents pour le risque encouru à chaque étape du cycle de vie. »

Sécurité

Lorsque les systèmes d’IA tournent mal, l’entreprise qui les a déployés peut également en subir les conséquences.

Cela peut être particulièrement dommageable lors de l’utilisation de données sensibles, que des acteurs malveillants peuvent voler ou manipuler.

« Si des artefacts sont exploités, ils peuvent être injectés avec du code malveillant », explique Saucedo. « Cela signifie que lorsqu’ils fonctionnent en production, ils peuvent extraire des secrets ou partager des variables d’environnement. »

La chaîne d’approvisionnement en logiciels ajoute d’autres dangers.

Les organisations qui utilisent des outils communs de science des données tels que TensorFlow et PyTorch introduisent des dépendances supplémentaires, ce qui peut augmenter les risques.

Une mise à niveau peut entraîner la panne d’un système d’apprentissage automatique et les attaquants peuvent injecter des logiciels malveillants au niveau de la chaîne d’approvisionnement.

Les conséquences peuvent exacerber les préjugés existants et provoquer des défaillances catastrophiques.

Saucedo recommande à nouveau d’appliquer les meilleures pratiques et l’intervention humaine pour atténuer les risques.

Un système d’IA peut promettre de meilleurs résultats que les humains, mais sans leur surveillance, les résultats peuvent être désastreux.

Saviez-vous qu’Alejandro Saucedo, directeur de l’ingénierie chez Seldon et scientifique en chef à l’Institute for Ethical AI & Machine Learning, prend la parole à la conférence TNW le 16 juin ? Consultez la liste complète des conférenciers ici.