«L’histoire est écrite par les vainqueurs», a déclaré Winston Churchill. (L’ironie, j'en suis sûr, n’était pas intentionnelle; Churchill lui-même étant l’un de ces «vainqueurs» qui, bien que connu pour avoir dirigé l’Europe occidentale jusqu’à la Seconde Guerre mondiale, était un homme blanc, droit, cis-het violentes ambitions impérialistes et racistes sans vergogne.)
Dans l'intelligence artificielle (IA) également, semble-t-il, les prédictions futures – qu'il s'agisse des performances de l'entreprise, de l'efficacité de la publicité, et dans le cas récent de l'outil de recrutement d'Amnesty International d'Amazon – sont également déterminés par les «vainqueurs».
Reuters a rapporté la semaine dernière que, comme beaucoup de grandes entreprises du secteur des technologies d'entreprise, Amazon tentait de tirer parti de l'IA et de l'apprentissage automatique pour aider ses équipes des ressources humaines traiter la multitude de curriculum vitae et de demandes d'emploi qu'il a reçues. En termes simples, Amazon a alimenté les données historiques de son outil d'intelligence artificielle sur des recrutements réussis antérieurs et l'a chargé de rechercher des caractéristiques, compétences et expériences similaires dans de nouveaux CV.
Pouvez-vous deviner ce qui s'est passé? L'IA a affiché un parti pris contre les femmes. Ce n'est pas surprenant, et ce n'est pas le premier incident du genre.
Hier, je discutais de ce problème avec Chris Nicholson, PDG de la société de formation / apprentissage en profondeur Skymind et co-créateur du framework Deeplearning4J. 19659002] «L'intelligence artificielle est aussi intelligente et précise que les données historiques que vous lui transmettez. Alors, bien sûr, vous regardez l'histoire; le canon littéraire – la plupart de l’histoire occidentale, et si vous êtes une IA, vous supposez: «Oh, je suppose que seuls les hommes blancs ont accompli quelque chose», a-t-il déclaré. "Vous fournissez des données biaisées, alors bien sûr, vous obtiendrez des résultats biaisés!"
Ankit Somani, cofondateur de la société de logiciels d'intelligence artificielle AllyO, a déclaré le plus tôt cette année .
«En technologie, si vous recherchez des candidats aux postes techniques, la majorité d'entre eux seront des hommes blancs. Donc, si vous ajoutez simplement toutes ces entrées dans le système et choisissez ce que vous voulez, vous verrez alors votre système faire la corrélation entre, par exemple, un développeur et l'associer ensuite à un homme blanc ", m'a expliqué Somani. «Selon les données qu’il a reçues, ce n’est pas faux. Mais si vous ne comprenez pas en quoi le manque actuel de diversité affecte ces systèmes, vous pouvez alors exacerber le problème. ”
Même lorsque les ingénieurs d'Amazon ont édité l'outil pour atténuer les biais, il n'y avait aucune garantie que l'outil
Il y a évidemment beaucoup de potentiel pour l'IA dans le secteur du recrutement, mais il faut d'abord résoudre le problème de l'impartialité sans quoi cela ne ferait qu'exacerber les problèmes de technologie. problème de représentation. Malheureusement, comme le dit Nihar Shah, professeur d’apprentissage automatique à la Carnegie Mellon University, dans l’article de Reuters il reste encore beaucoup à faire.
«Comment faire pour que l’algorithme soit juste, comment assurez-vous que l'algorithme est vraiment interprétable et explicable – c'est encore assez éloigné », a-t-il déclaré.