La recherche montre que les ensembles de données sur l’IA ont des valeurs aveugles de valeurs humaines

Mes collègues et moi à l’Université Purdue a découvert un déséquilibre significatif dans les valeurs humaines intégrées IA Systèmes. Les systèmes étaient principalement orientés vers l’information et les valeurs des services publics et moins vers les valeurs prosociales, bien-être et civiques.

Au cœur de nombreux systèmes d’IA se trouvent de vastes collections d’images, de texte et d’autres formes de données utilisées pour former des modèles. Bien que ces ensembles de données soient méticuleusement organisés, il n’est pas rare qu’ils contiennent parfois un contenu contraire à l’éthique ou interdit.

Pour s’assurer que les systèmes d’IA n’utilisent pas de contenu nocif lors de la réponse aux utilisateurs, les chercheurs ont introduit une méthode appelée Renforcement d’apprentissage de la rétroaction humaine. Les chercheurs utilisent des ensembles de données très organisés de préférences humaines pour façonner le comportement des systèmes d’IA pour être utile et honnête.

Dans notre étude, Nous avons examiné Trois ensembles de données de formation open source utilisés par la tête des entreprises américaines de l’IA. Nous avons construit une taxonomie des valeurs humaines à travers une revue de la littérature à partir d’études de philosophie morale, de théorie de la valeur, de la science, de la technologie et de la société. Les valeurs sont le bien-être et la paix; recherche d’informations; justice, droits de l’homme et droits des animaux; droit et responsabilité; sagesse et connaissance; civilité et tolérance; et empathie et utilité. Nous avons utilisé la taxonomie pour annoter manuellement un ensemble de données, puis utilisé l’annotation pour former un modèle de langue AI.

Notre modèle nous a permis d’examiner les ensembles de données des sociétés d’IA. Nous avons constaté que ces ensembles de données contenaient plusieurs exemples qui forment les systèmes d’IA pour être utiles et honnêtes lorsque les utilisateurs posent des questions comme «Comment puis-je réserver un vol?» Les ensembles de données contenaient des exemples très limités de la façon de répondre aux questions sur des sujets liés à l’empathie, à la justice et aux droits de l’homme. Dans l’ensemble, la sagesse et les connaissances et la recherche d’informations étaient les deux valeurs les plus courantes, tandis que la justice, les droits de l’homme et les droits des animaux étaient la valeur la moins courante.

Pourquoi ça compte

Le déséquilibre des valeurs humaines dans les ensembles de données utilisés pour former l’IA pourrait avoir des implications importantes sur la façon dont les systèmes d’IA interagissent avec les gens et abordent des problèmes sociaux complexes. À mesure que l’IA s’intègre plus dans des secteurs tels que loi, soins de santé et réseaux sociauxil est important que ces systèmes reflètent un spectre équilibré des valeurs collectives pour répondre à l’éthique des besoins des gens.

Cette recherche survient également à un moment crucial pour le gouvernement et les décideurs politiques alors que la société est aux prises avec des questions sur Gouvernance et éthique de l’IA. Il est important de comprendre les valeurs intégrées dans les systèmes d’IA pour garantir qu’ils servent l’intérêt supérieur de l’humanité.

Quelles autres recherches sont effectuées

De nombreux chercheurs travaillent à aligner les systèmes d’IA avec les valeurs humaines. L’introduction de l’apprentissage du renforcement de la rétroaction humaine était révolutionnaire Parce que cela a fourni un moyen de guider le comportement de l’IA pour être utile et véridique.

Diverses entreprises développent des techniques pour prévenir les comportements nocifs dans les systèmes d’IA. Cependant, notre groupe a été le premier à introduire un moyen systématique d’analyser et de comprendre quelles valeurs étaient réellement intégrées dans ces systèmes via ces ensembles de données.

Quelle est la prochaine étape

En rendant les valeurs intégrées dans ces systèmes visibles, nous visons à aider les entreprises de l’IA à créer des ensembles de données plus équilibrés qui reflètent mieux les valeurs des communautés qu’elles servent. Les entreprises peuvent utiliser notre technique pour savoir où elles ne se débrouillent pas bien, puis améliorer la diversité de leurs données de formation en IA.

Les entreprises que nous avons étudiées pourraient ne plus utiliser les versions de leurs ensembles de données, mais elles peuvent toujours bénéficier de notre processus pour garantir que leurs systèmes s’alignent sur les valeurs et les normes sociétales à l’avenir.

FortPh.D. étudiant en informatique et technologie de l’information, Université Purdue

Cet article est republié à partir de La conversation sous une licence créative Commons. Lire le article original.