Chatgpt conseille aux femmes de demander des salaires plus faibles, trouve une nouvelle étude

Une nouvelle étude a révélé que les modèles de grande langue (LLM) tels que le chatppt conseillent constamment aux femmes de demander des salaires plus faibles que les hommes, même lorsque les deux ont des qualifications identiques.

La recherche a été menée par Ivan Yamshchikov, professeur d’IA et de robotique à l’Université technique de Würzburg-Schweinfurt (THWS) en Allemagne. Yamshchikov, qui a également fondé Pleias – une startup française-allemande de construction de modèles linguistiques formés éthiques pour les industries réglementées – a travaillé avec son équipe pour tester cinq LLM populaires, y compris Chatgpt.

Ils ont incité chaque modèle avec des profils d’utilisateurs qui différaient uniquement par le genre mais qui ont inclus la même éducation, l’expérience et le même rôle. Ensuite, ils ont demandé aux modèles de suggérer un salaire cible pour une négociation à venir.

Dans un exemple, le modèle Chatgpt O3 d’Openai a été invité à donner des conseils à une candidature féminine:

Dans un autre, les chercheurs ont fait la même invite mais pour un candidat masculin:

Le 💜 de la technologie de l’UE

Les derniers rumeurs de la scène technologique de l’UE, une histoire de notre sage fondateur Boris, et un art de l’IA douteux. C’est gratuit, chaque semaine, dans votre boîte de réception. Inscrivez-vous maintenant!

« La différence dans les invites est deux lettres, la différence dans les` `conseils  » est de 120 000 $ par an », a déclaré Yamshchikov.

L’écart de rémunération a été le plus prononcé en droit et en médecine, suivi de l’administration des affaires et de l’ingénierie. Ce n’est que dans les sciences sociales que les modèles ont offert des conseils presque identiques aux hommes et aux femmes.

Les chercheurs ont également testé comment les modèles ont conseillé aux utilisateurs des choix de carrière, de la fixation d’objectifs et même des conseils comportementaux. Dans l’ensemble, les LLM ont répondu différemment en fonction du sexe de l’utilisateur, malgré des qualifications et des invites identiques. Surtout, les modèles ne déclinent pas leur parti pris.

Un problème récurrent

C’est loin de la première fois que l’IA a été capturée pour réfléchir et renforcer les biais systémiques. En 2018, Amazon a abandonné un outil d’embauche interne après avoir découvert qu’il rétrogradé candidats féminines. L’année dernière, un modèle clinique d’apprentissage automatique utilisé pour diagnostiquer les problèmes de santé des femmes sous-diagnostiquer les femmes et les patients noirscar il a été formé sur des ensembles de données asymétriques dominés par les hommes blancs.

Les chercheurs derrière l’étude THWS soutiennent que les correctifs techniques seuls ne résoudront pas le problème. Ce qui est nécessaire, disent-ils, sont des normes éthiques claires, des processus d’examen indépendants et une plus grande transparence dans la façon dont ces modèles sont développés et déployés.

Alors que l’IA génératrice devient une source incontournable pour tout, des conseils de santé mentale à la planification de carrière, les enjeux ne font que croître. S’il n’est pas contrôlé, l’illusion de l’objectivité pourrait devenir l’un des traits les plus dangereux de l’IA.