Ce nouveau livre explore la difficulté d'aligner l'IA avec nos valeurs

Depuis des décennies, nous essayons de développer l'intelligence artificielle à notre image. Et à chaque étape du processus, nous avons réussi à créer des machines capables d'accomplir des exploits merveilleux et en même temps de faire des erreurs étonnamment stupides.

Après six décennies de recherche et développement, aligner les systèmes d'IA sur nos objectifs, nos intentions, et les valeurs restent un objectif insaisissable. Chaque domaine majeur de l'IA semble résoudre une partie du problème de la réplication de l'intelligence humaine tout en laissant de côté des trous dans des domaines critiques. Et ces trous deviennent problématiques lorsque nous appliquons la technologie actuelle de l'IA à des domaines où nous nous attendons à ce que des agents intelligents agissent avec la rationalité et la logique que nous attendons des humains.

Dans son dernier livre, The Alignment Problem: Machine Learning and Human Values ​​le programmeur et chercheur Brian Christian discute des défis à relever pour s'assurer que nos modèles d'IA capturent «nos normes et nos valeurs, comprennent ce que nous voulons dire ou ce que nous entendons et, surtout, faire ce que nous voulons». C'est une question qui est devenue de plus en plus urgente ces dernières années, car l'apprentissage automatique a trouvé son chemin dans de nombreux domaines et applications où prendre de mauvaises décisions peut avoir des conséquences désastreuses ].

Comme Christian le décrit: «Alors que les systèmes d'apprentissage automatique se développent non seulement de plus en plus envahissants mais de plus en plus puissants, nous nous retrouverons de plus en plus souvent dans la position de« l'apprenti sorcier »: nous conjurons une force, autonome mais totalement conforme, donnez-lui un ensemble d'instructions, puis bousculez comme un fou pour l'arrêter une fois que nous réalisons que nos instructions sont imprécises ou incomplètes – de peur d'obtenir, d'une manière intelligente et horrible, exactement ce que nous avons demandé. »

In ] Le problème de l'alignement, Christian fournit une description détaillée de l'état actuel de l'intelligence artificielle et de la façon dont nous sommes arrivés ici. Il discute également de ce qui manque dans différentes approches de création d'IA.

Voici quelques points clés du livre.

Apprentissage automatique: mappage des entrées aux sorties

Dans les premières décennies de recherche sur l'IA, systèmes symboliques a fait des percées remarquables dans la résolution de problèmes complexes qui nécessitaient un raisonnement logique. Pourtant, ils étaient terribles dans des tâches simples que chaque être humain apprend à un jeune âge, telles que la détection d'objets, de personnes, de voix et de sons. Ils n'ont pas non plus bien évolué et ont nécessité beaucoup d'efforts manuels pour créer les règles et les connaissances qui définissaient leur comportement.

Plus récemment, l'intérêt croissant pour l'apprentissage automatique et l'apprentissage en profondeur a contribué à faire progresser la vision par ordinateur. la reconnaissance vocale et le traitement du langage naturel les domaines mêmes dans lesquels l'IA symbolique se débattait. Les algorithmes d'apprentissage automatique s'adaptent bien à la disponibilité des données et des ressources de calcul ce qui explique en grande partie pourquoi ils sont devenus si populaires au cours de la dernière décennie.

Mais malgré leurs réalisations remarquables, les algorithmes d'apprentissage automatique sont à leur fonctions mathématiques complexes de base qui mappent les observations aux résultats. Par conséquent, ils sont aussi bons que leurs données et ils commencent à se briser lorsque les données auxquelles ils sont confrontés dans le monde commencent à s'écarter des exemples qu'ils ont vus pendant l'entraînement.

In The Alignment Problem ]Christian passe en revue de nombreux exemples où les algorithmes d'apprentissage automatique ont causé des échecs embarrassants et dommageables. Un exemple populaire est un algorithme de classification de Google Photos qui a étiqueté les personnes à la peau foncée comme des gorilles . Le problème n'était pas avec l'algorithme d'IA mais avec les données d'entraînement. Si Google avait formé le modèle sur plus d'exemples de personnes à la peau foncée, il aurait pu éviter le désastre.

«Le problème, bien sûr, avec un système qui peut, en théorie, apprendre à peu près n'importe quoi à partir d'un ensemble d'exemples est qu'il se trouve alors à la merci des exemples dont il est enseigné », écrit Christian.

Ce qui est pire, c'est que les modèles d'apprentissage automatique ne peuvent pas distinguer le bien du mal et prendre des décisions morales. Quel que soit le problème existant dans les données d'entraînement d'un modèle d'apprentissage automatique, le comportement du modèle se reflétera souvent de manière nuancée et discrète. Par exemple, en 2018, Amazon a fermé un outil d'apprentissage automatique utilisé pour prendre des décisions d'embauche parce que ses décisions étaient biaisées à l'égard des femmes. De toute évidence, aucun des créateurs de l’IA ne souhaitait que le modèle sélectionne des candidats en fonction de leur sexe. Dans ce cas, le modèle, qui a été formé sur les données d'embauche historiques de l'entreprise, reflétait des problèmes au sein d'Amazon lui-même.

Il ne s'agit que de l'un des nombreux cas où un modèle d'apprentissage automatique a détecté des biais qui existaient dans ses données de formation et les a amplifiés à sa manière. C'est aussi un avertissement contre la confiance en les modèles d'apprentissage automatique qui sont formés sur des données que nous collectons aveuglément à partir de notre propre comportement passé.

«Modéliser le monde tel qu'il est est une chose. Mais dès que vous commencez à utiliser ce modèle, vous changez le monde, de manière grande et petite. Il existe une hypothèse générale sous-jacente à de nombreux modèles d'apprentissage automatique selon laquelle le modèle lui-même ne changera pas la réalité qu'il modélise. Dans presque tous les cas, c'est faux », écrit Christian. «En effet, un déploiement imprudent de ces modèles pourrait produire une boucle de rétroaction à partir de laquelle la récupération devient de plus en plus difficile ou nécessite des interventions de plus en plus importantes.»

[Lire: Comment cette société a tiré parti de l'IA pour devenir le Netflix de Finlande ]

L'intelligence humaine a beaucoup à voir avec la collecte de données, la recherche de modèles et la transformation de ces modèles en actions. Mais alors que nous essayons généralement de simplifier la prise de décision intelligente en un petit ensemble d'entrées et de sorties, les défis de l'apprentissage automatique montrent que nos hypothèses sur les données et l'apprentissage automatique s'avèrent souvent fausses.

«Nous devons considérer de manière critique … Non seulement là où nous obtenons nos données d'entraînement, mais aussi où nous obtenons les étiquettes qui fonctionneront dans le système en tant que substitut de la vérité terrain.

Apprentissage par renforcement: maximiser les récompenses

Une autre branche de l'IA qui a gagné beaucoup de terrain dans le monde. la dernière décennie est apprentissage par renforcement un sous-ensemble d'apprentissage automatique dans lequel le modèle reçoit les règles d'un espace de problème et une fonction de récompense. Le modèle doit alors explorer l'espace pour lui-même et trouver des moyens de maximiser ses récompenses.

«L'apprentissage par renforcement… nous offre une définition puissante, et peut-être même universelle, de ce qu'est l'intelligence », Écrit Christian. «Si l’intelligence est, comme l’a dit le célèbre informaticien John McCarthy,« la partie informatique de la capacité à atteindre des objectifs dans le monde », alors l’apprentissage par renforcement offre une boîte à outils étonnamment générale pour le faire. En effet, il est probable que ses principes fondamentaux aient été à maintes reprises tombés par l’évolution – et il est probable qu’ils formeront le fondement de toute l’intelligence artificielle que le XXIe siècle a en réserve. »

L’apprentissage par renforcement est à l’origine d’une grande science scientifique. des réalisations telles que des systèmes d'IA qui maîtrisent les jeux Atari, Go, StarCraft 2 et DOTA 2. Il a également trouvé de nombreuses utilisations en robotique. Mais chacune de ces réalisations prouve aussi que la recherche pure de récompenses externes n'est pas exactement la façon dont l'intelligence fonctionne.

D'une part, les modèles d'apprentissage par renforcement nécessitent des quantités massives de cycles d'entraînement pour obtenir des résultats simples. Pour cette raison même, la recherche dans ce domaine a été limitée à quelques laboratoires soutenus par entreprises très riches . Les systèmes d'apprentissage par renforcement sont également très rigides. Par exemple, un modèle d'apprentissage par renforcement qui joue à StarCraft 2 au niveau du championnat ne pourra pas jouer à un autre jeu avec des mécanismes similaires. Les agents d'apprentissage par renforcement ont également tendance à rester coincés dans des boucles dénuées de sens qui maximisent une simple récompense au détriment des objectifs à long terme. Un exemple est cette IA de course de bateaux qui a réussi à pirater son environnement en collectant continuellement des objets bonus sans considérer l'objectif principal de gagner la course.

«Débrancher les récompenses externes câblées peut être une partie nécessaire de la construction d'une IA vraiment générale: parce que la vie, contrairement à un jeu Atari, n'est absolument pas pré-étiquetée avec un retour en temps réel sur la qualité de chacune de nos actions », écrit Christian. «Nous avons des parents et des enseignants, bien sûr, qui peuvent corriger notre orthographe et notre prononciation et, parfois, notre comportement. Mais cela ne couvre guère une fraction de ce que nous faisons, disons et pensons, et les autorités de notre vie ne sont pas toujours d'accord. De plus, c'est l'un des rites centraux de passage de la condition humaine que nous devons apprendre à faire ces jugements par nos propres lumières et pour nous-mêmes. »

Christian suggère également que si l'apprentissage par renforcement commence par des récompenses et développe un comportement qui maximise ces récompenses, l'inverse est peut-être encore plus intéressant et critique: «Compte tenu du comportement que nous attendons de nos machines, comment structurer les récompenses de l'environnement pour provoquer ce comportement? Comment pouvons-nous obtenir ce que nous voulons quand c'est nous qui sommes assis au fond de l'auditoire, dans le fauteuil du critique – nous qui administrons le granulés alimentaires, ou leur équivalent numérique? »

L'IA doit-elle imiter les humains?

Source link