Les pionniers de l'IA d'apprentissage profond pensent que son avenir va être éclairé

Les réseaux de neurones profonds surmonteront leurs lacunes sans l'aide de l' intelligence artificielle symboliquetrois pionniers de l'apprentissage en profondeur soutiennent dans un article publié dans le numéro de juillet de la Communications du journal ACM .

Dans leur article, Yoshua Bengio, Geoffrey Hinton et Yann LeCun, lauréats du prix Turing 2018, expliquent les défis actuels de l'apprentissage en profondeur[19659007] et en quoi cela diffère de l'apprentissage chez les humains et les animaux. Ils explorent également les avancées récentes dans le domaine qui pourraient fournir des plans pour les orientations futures de la recherche en apprentissage en profondeur.

Titré «Deep Learning for AI», l'article envisage un avenir dans lequel les modèles d'apprentissage en profondeur peuvent apprennent avec peu ou pas d'aide des humains, sont flexibles aux changements de leur environnement et peuvent résoudre un large éventail de problèmes réflexifs et cognitifs.

Les défis de l'apprentissage en profondeur

L'apprentissage en profondeur est souvent par rapport au cerveau des humains et des animaux. Cependant, les dernières années ont prouvé que les réseaux de neurones artificiels, le principal composant utilisé dans les modèles d'apprentissage en profondeur, manquent de l'efficacité, de la flexibilité et de la polyvalence de leurs homologues biologiques.

Dans leur article, Bengio, Hinton et LeCun reconnaissent ces lacunes. . « L'apprentissage supervisé, bien que réussi dans une grande variété de tâches, nécessite généralement une grande quantité de données étiquetées par l'homme. De même, lorsque l'apprentissage par renforcement est basé uniquement sur des récompenses, il nécessite un très grand nombre d'interactions », écrivent-ils.

L'apprentissage supervisé est un sous-ensemble populaire d'algorithmes d'apprentissage automatique, dans lequel un modèle est présenté avec des exemples étiquetés, tels qu'une liste d'images et leur contenu correspondant. Le modèle est entraîné pour trouver des modèles récurrents dans des exemples qui ont des étiquettes similaires. Il utilise ensuite les modèles appris pour associer de nouveaux exemples avec les bonnes étiquettes. L'apprentissage supervisé est particulièrement utile pour les problèmes où des exemples étiquetés sont disponibles en abondance.

L'apprentissage par renforcement est une autre branche de l'apprentissage automatique, dans laquelle un « agent » apprend à maximiser les « récompenses » dans un environnement . Un environnement peut être aussi simple qu'un tic-tac-toe dans lequel un joueur d'IA est récompensé pour avoir aligné trois X ou Os, ou aussi complexe qu'un environnement urbain dans lequel une  voiture autonome[19659007]  est récompensé pour avoir évité les collisions, respecté les règles de circulation et atteint sa destination. L'agent commence par effectuer des actions aléatoires. Au fur et à mesure qu'il reçoit les commentaires de son environnement, il trouve des séquences d'actions qui offrent de meilleures récompenses.

Dans les deux cas, comme le reconnaissent les scientifiques, les modèles d'apprentissage automatique nécessitent un travail énorme. Les ensembles de données étiquetés sont difficiles à trouver, en particulier dans les domaines spécialisés qui ne disposent pas d'ensembles de données publics et open source, ce qui signifie qu'ils ont besoin du travail dur et coûteux d'annotateurs humains. Et les modèles d'apprentissage par renforcement complexes nécessitent des ressources informatiques massives pour exécuter un grand nombre d'épisodes de formation, ce qui les rend disponibles pour quelques-uns, des laboratoires d'IA et des entreprises technologiques très riches.

Bengio, Hinton, et LeCun reconnaissent également que les systèmes d'apprentissage en profondeur actuels sont encore  limités dans la portée des problèmes qu'ils peuvent résoudre. Ils exécutent bien les tâches spécialisées mais «sont souvent fragiles en dehors du domaine étroit pour lequel ils ont été formés». Souvent, de légers changements tels que quelques pixels modifiés dans une image ou une très légère altération des règles de l'environnement peuvent faire dérailler les systèmes de deep learning.

La fragilité de Les systèmes d'apprentissage en profondeur sont en grande partie dus au fait que les modèles d'apprentissage automatique sont basés sur l'hypothèse « indépendante et identiquement distribuée » (iid), qui suppose que les données du monde réel ont la même distribution que les données d'apprentissage. iid suppose également que les observations ne s'affectent pas les unes les autres (par exemple, les lancers de pièces ou de dés sont indépendants les uns des autres).

« Depuis les premiers jours, les théoriciens de l'apprentissage automatique se sont concentrés sur l'hypothèse iid… Malheureusement, ce n'est pas un hypothèse réaliste dans le monde réel », écrivent les scientifiques.

Les paramètres du monde réel changent constamment en raison de différents facteurs, dont beaucoup sont pratiquement impossibles à représenter   sans modèles de causalité . Les agents intelligents doivent constamment observer et apprendre de leur environnement et des autres agents, et ils doivent adapter leur comportement aux changements.

"[T] Les performances des meilleurs systèmes d'IA d'aujourd'hui ont tendance à être affectées lorsqu'ils passent du laboratoire au laboratoire. champ », écrivent les scientifiques.

L'iid L'hypothèse devient encore plus fragile lorsqu'elle est appliquée à des domaines tels que   la vision par ordinateur  et le traitement du langage naturel, où l'agent doit faire face à des environnements à haute entropie. Actuellement, de nombreux chercheurs et entreprises tentent de surmonter les limites de l'apprentissage en profondeur en formant les réseaux de neurones sur davantage de donnéesen espérant que des ensembles de données plus volumineux couvriront une distribution plus large et réduiront les risques d'échec dans le monde réel. .

Deep learning vs hybride AI

L'objectif ultime des scientifiques de l'IA est de reproduire le type d'intelligence générale dont disposent les humains. Et nous savons que les humains ne souffrent pas des problèmes des systèmes d'apprentissage en profondeur actuels.

« Les humains et les animaux semblent être capables d'apprendre des quantités massives de connaissances de base sur le monde, en grande partie par l'observation, d'une manière indépendante des tâches. », écrivent Bengio, Hinton et LeCun dans leur article. "Ces connaissances sous-tendent le bon sens et permettent aux humains d'apprendre des tâches complexes, telles que la conduite, avec seulement quelques heures de pratique."

Ailleurs dans l'article, les scientifiques notent, "[H] les humains peuvent généraliser d'une manière qui est différent et plus puissant que la généralisation iid ordinaire : nous pouvons interpréter correctement de nouvelles combinaisons de concepts existants, même si ces combinaisons sont extrêmement improbables dans notre distribution d'entraînement, tant qu'elles respectent les modèles syntaxiques et sémantiques de haut niveau que nous avons déjà appris.

Les scientifiques proposent diverses solutions pour combler le fossé entre l'IA et l'intelligence humaine. Une approche qui a été largement discutée ces dernières années est l'intelligence artificielle hybride qui combine des réseaux de neurones avec des systèmes symboliques classiques. La manipulation des symboles est une partie très importante de la capacité des humains à raisonner sur le monde. C'est également l'un des grands défis des systèmes d'apprentissage en profondeur.

Bengio, Hinton et LeCun ne croient pas au mélange des réseaux de neurones et de l'IA symbolique. Dans une vidéo qui accompagne l'article de l'ACM, Bengio déclare : « Certains pensent qu'il existe des problèmes que les réseaux de neurones ne peuvent tout simplement pas résoudre et que nous devons recourir à l'approche symbolique classique de l'IA. Mais notre travail suggère le contraire. »

Les pionniers de l'apprentissage en profondeur pensent que de meilleures architectures de réseaux neuronaux mèneront à terme à tous les aspects de l'intelligence humaine et animale, y compris la manipulation de symboles, le raisonnement, l'inférence causale et le bon sens.

Des avancées prometteuses. dans l'apprentissage en profondeur

Dans leur article, Bengio, Hinton et LeCun mettent en évidence les progrès récents de l'apprentissage en profondeur qui ont permis de progresser dans certains des domaines où l'apprentissage en profondeur a du mal.

Un exemple est le Transformerune architecture de réseau de neurones qui a été au cœur de modèles de langage tels que OpenAI's GPT-3 et Meena de Google. L'un des avantages des Transformers est leur capacité à apprendre sans avoir besoin de données étiquetées. Les transformateurs peuvent développer des représentations grâce à un apprentissage non supervisé, puis ils peuvent appliquer ces représentations pour remplir les blancs sur des phrases incomplètes ou générer un texte cohérent après avoir reçu une invite.

Plus récemment, des chercheurs ont montré que les transformateurs peuvent être appliqués aux tâches de vision par ordinateur. ainsi que. Lorsqu'ils sont combinés avec réseaux de neurones convolutifsles transformateurs peuvent prédire le contenu des régions masquées.

Une technique plus prometteuse est contrastive learningqui essaie de trouver le vecteur représentations des régions manquantes au lieu de prédire les valeurs exactes des pixels. C'est une approche intrigante et semble être beaucoup plus proche de ce que fait l'esprit humain. Lorsque nous voyons une image telle que celle ci-dessous, nous pourrions ne pas être en mesure de visualiser une représentation photo-réaliste des parties manquantes, mais notre esprit peut proposer une représentation de haut niveau de ce qui pourrait se passer dans ces régions masquées (par exemple , portes, fenêtres, etc.). (Ma propre observation : cela peut bien s'accorder avec d'autres recherches dans le domaine visant à aligner les représentations vectorielles dans les réseaux de neurones  avec des concepts du monde réel.)

La poussée pour faire les réseaux de neurones moins dépendants des données étiquetées par l'homme s'intègrent dans la discussion sur  l'apprentissage auto-superviséun concept sur lequel LeCun travaille.

L'article aborde également «  apprentissage profond du système 2 », un terme emprunté au psychologue lauréat du prix Nobel Daniel Kahneman. Le système 2 prend en compte les fonctions du cerveau qui nécessitent une réflexion consciente, notamment la manipulation de symboles, le raisonnement, la planification en plusieurs étapes et la résolution de problèmes mathématiques complexes. L'apprentissage en profondeur du système 2 en est encore à ses débuts, mais s'il devient une réalité, il peut résoudre certains des problèmes clés des réseaux de neurones, notamment la généralisation hors distribution, l'inférence causale, l'apprentissage par transfert robuste  et la manipulation de symboles.

Les scientifiques soutiennent également les travaux sur les « réseaux de neurones qui attribuent des cadres de référence intrinsèques aux objets et à leurs parties et reconnaissent les objets en utilisant les relations géométriques ». Il s'agit d'une référence aux « réseaux de capsules ] », un domaine de recherche sur lequel Hinton s'est concentré ces dernières années. Les réseaux de capsules visent à améliorer les réseaux de neurones, de la détection de caractéristiques dans les images à la détection d'objets, de leurs propriétés physiques et de leurs relations hiérarchiques les uns avec les autres. Les réseaux de capsules peuvent fournir un apprentissage en profondeur avec la « physique intuitive », une capacité qui permet aux humains et aux animaux de comprendre les environnements tridimensionnels.

 « Il y a encore un long chemin à parcourir en termes de compréhension de la façon dont pour rendre les réseaux de neurones vraiment efficaces. Et nous nous attendons à ce qu'il y ait des idées radicalement nouvelles », a déclaré Hinton à ACM.

Cet article a été initialement publié par Ben Dickson sur TechTalksune publication qui examine les tendances technologiques, comment ils affectent notre façon de vivre et de faire des affaires, et les problèmes qu'ils résolvent. Mais nous discutons également du côté pervers de la technologie, des implications plus sombres des nouvelles technologies et de ce que nous devons rechercher. Vous pouvez lire l'article original ici.