Transférer la transparence dans l'IA

Les entreprises utilisent de plus en plus de modèles d’apprentissage automatique pour prendre des décisions, telles que l’attribution d’emplois, les prêts ou les admissions à l’université, qui affectent directement ou indirectement la vie des gens. Les algorithmes sont également utilisés pour recommander un film à regarder, une personne à ce jour ou un appartement à louer.

Quand vous parlez à des clients commerciaux – les opérateurs de machine learning (ML) – j'entends une demande croissante de comprendre comment ces modèles et Les algorithmes fonctionnent, en particulier lorsqu'il existe un nombre croissant de cas d'apprentissage automatique sans ressources humaines. Imaginez un modèle ML recommande les 10 meilleurs candidats parmi 100 candidats pour un poste. Avant de faire confiance à la recommandation du modèle, le recruteur souhaite vérifier les résultats. Si le recruteur vérifiait ou retraçait le travail d’un être humain, il chercherait de courts résumés ou des indices tels que des soulignements, des cercles, des plus ou des moins autour d’éléments saillants. Ceci est différent pour les modèles ML. Selon la profondeur du réseau de neurones de l’algorithme, les explications et la transparence seraient limitées. Alors qu'un humain serait capable de comprendre une machine à trois, voire 30, vitesses, leviers et poulies, la plupart auraient du mal à expliquer quelque chose avec 300 pièces mobiles.

Ce problème de boîte noire de intelligence artificielle n'est pas nouveau, et sa pertinence s’est accrue avec des solutions d’apprentissage automatique modernes et plus puissantes et des modèles plus sophistiqués. Dans le même temps, les modèles peuvent surperformer les humains dans des tâches complexes telles que la classification d'images, la transcription de la parole ou les traductions d'une langue à une autre. Et plus le modèle est sophistiqué, plus son niveau d’explicabilité est faible.

Dans certaines applications utilisant la technologie ML, le problème de la boîte noire n’a pas d’importance, car les utilisateurs n’ont pas le choix de tirer parti de l’intelligence de la machine. Si des modèles plus simples et explicables ne peuvent pas exécuter un travail donné (par exemple, traduire un texte du chinois en anglais à un niveau équivalent à celui des humains), la seule décision que l'utilisateur peut prendre en termes d'explicabilité est de ne pas utiliser le modèle, ni de le traduire. le texte seul

Dans d'autres applications, la transparence d'un algorithme ne nous importe pas. Par exemple, un modèle qui détecte les 10 000 clients potentiels les plus prometteurs parmi une liste de millions de personnes ou choisit le meilleur produit à leur recommander est un exemple où les humains ne sont pas au courant, car il serait extrêmement fastidieux de tous les vérifier.

La possibilité d'expliquer des modèles d'apprentissage automatique sophistiqués est un domaine de recherche active. En gros, il existe cinq approches principales:

• Utiliser des modèles plus simples. Cela sacrifie la précision pour l'explicabilité.

• Combinez des modèles plus simples et plus sophistiqués. Le modèle plus sophistiqué fournit la recommandation, le modèle simple fournit des explications. Cela fonctionne souvent bien, mais il existe des lacunes lorsque les modèles sont en désaccord.

• Utilisez des états de modèle intermédiaires. Par exemple, en vision par ordinateur, certains états excitent des états situés dans les couches intermédiaires du modèle. Celles-ci peuvent être visualisées sous forme de caractéristiques (telles que la tête, les bras et les jambes) pour justifier la classification des images.

• Utilisez des mécanismes d'attention. Certains des modèles les plus sophistiqués ont un mécanisme permettant d’attirer «l’attention» sur les parties de l’intrant qui importent le plus (c’est-à-dire l’établissement de pondérations plus élevées). Celles-ci peuvent être visualisées pour mettre en évidence les parties d'une image ou d'un texte qui contribuent le plus à une recommandation particulière.

• Modifier les entrées. Si vous supprimez quelques mots ou obscurcissez quelques parties d'une image modifie considérablement les résultats globaux du modèle, il est probable que ces entrées jouent un rôle important dans la classification. Ils peuvent être explorés en exécutant le modèle sur des variantes de l'entrée, les résultats étant mis en évidence pour l'utilisateur.

En fin de compte, la prise de décision humaine ne peut être expliquée que dans une certaine mesure. Il en va de même pour les algorithmes sophistiqués. Cependant, il incombe aux fournisseurs de logiciels d’accélérer les recherches sur la transparence technique afin de renforcer la confiance dans les logiciels intelligents.

Pour en savoir plus sur l’éthique de l’IA, consultez la page sur les principes directeurs de SAP en matière d’intelligence artificielle (AI ) .

<! – Commentaires ->