Les résultats de l’IA générative reflètent encore une quantité considérable de préjugés basés sur le genre et la sexualité, associant les noms féminins aux rôles de genre traditionnels, générant du contenu négatif sur des sujets homosexuels, et bien plus encore, selon un nouveau rapport du Centre international de recherche sur l’intelligence artificielle de l’UNESCO.
Le rapport, publié aujourd’hui, s’est concentré sur plusieurs études individuelles sur les préjugés, y compris des tests d’associations entre les noms de genre et les carrières, a fréquemment généré des réponses moins positives aux invites liées aux personnes et aux femmes LGBTQ+, et a attribué des professions stéréotypées à des membres de différents genres et groupes ethniques. .
Les chercheurs ont découvert trois grandes catégories de biais sous-jacents aux technologies d’IA générative. Le premier est un problème de données, dans lequel une IA n’est pas exposée aux données d’entraînement de groupes sous-représentés ou ne tient pas compte des différences de sexe ou d’origine ethnique, ce qui peut conduire à des inexactitudes. La seconde est la sélection d’algorithmes, qui peut entraîner un biais d’agrégation ou d’apprentissage. L’exemple classique serait une IA identifiant les CV des candidats masculins comme étant plus souhaitables sur la base des disparités fondées sur le sexe déjà présentes dans les pratiques d’embauche. Enfin, l’étude a identifié des biais dans le déploiement, où les systèmes d’IA étaient appliqués à des contextes différents de ceux pour lesquels ils avaient été développés, entraînant des associations « inappropriées » entre les termes psychiatriques et des groupes ethniques ou des genres spécifiques.
Chaque forme de biais présente dans les grands modèles linguistiques (LLM) qui sous-tendent les systèmes d’IA modernes reflète les textes sur lesquels les LLM sont formés, ont écrit les auteurs du rapport de l’UNESCO dans une introduction. Parce que ces textes ont été générés par des humains, les LLM reflètent donc les préjugés humains.
« Par conséquent, les LLM peuvent renforcer les stéréotypes et les préjugés à l’égard des femmes et des filles, les pratiques via des outils de recrutement biaisés par l’IA, la prise de décision sexiste dans des secteurs comme la finance (où l’IA peut influencer la notation de crédit et l’approbation des prêts), ou même des erreurs de diagnostic médical ou psychiatrique dues à des erreurs de diagnostic. à des modèles ou à des normes démographiquement biaisés », ont-ils écrit.
Les chercheurs ont noté que leur étude n’était pas sans limites, discutant de plusieurs défis potentiels, notamment les limites des tests d’association implicites, la contamination des données, les biais de déploiement, les limitations linguistiques et le manque d’analyse intersectionnelle.
Source link