Comment un cerveau IA avec un seul neurone pourrait surpasser les humains

Une équipe multidisciplinaire de chercheurs de la Technische Universität Berlin a récemment créé un « réseau » neuronal qui pourrait un jour surpasser la puissance du cerveau humain avec un seul neurone.

Notre cerveau compte environ 86 milliards de neurones. Combinés, ils constituent l'un des réseaux de neurones organiques les plus avancés connus.

État de l'art actuelintelligence artificielleLes systèmes tentent d'imiter le cerveau humain en créant des réseaux de neurones multicouches conçus pour entasser autant de neurones dans le moins d'espace possible.

Malheureusement, de telles conceptions nécessitent d'énormes quantités d'énergie et produisent des sorties qui pâlissent par rapport au cerveau humain robuste et économe en énergie.

Parun articled'après Katyanna Quach de The Register, les scientifiques estiment que les coûts de formation d'un seul « super réseau » de neurones dépassent ceux d'une mission spatiale à proximité :

Les réseaux de neurones et la quantité de matériel nécessaire pour les former à l'aide d'énormes ensembles de données augmentent en taille. Prenons GPT-3 comme exemple : il a 175 milliards de paramètres, 100 fois plus que son prédécesseur GPT-2.

Plus gros peut être meilleur en termes de performances, mais à quel prix cela revient-il à la planète ? Carbontracker estime que l'entraînement GPT-3 ne nécessite qu'une seule fois la même quantité d'énergie utilisée par 126 foyers au Danemark par an, ou la conduite vers la Lune et retour.

L'équipe de Berlin a décidé de remettre en question l'idée que plus c'est gros, mieux c'est en construisant un réseau de neurones qui utilise un seul neurone.

En règle générale, un réseau a besoin de plusieurs nœuds. Dans ce cas cependant, le neurone unique est capable de se mettre en réseau en s'étalant dans le temps plutôt que dans l'espace.

Selon l'équipedocument de recherche:

Nous avons conçu une méthode pour le repliement complet dans le temps d'un DNN à anticipation multicouche. Cette approche Fit-DNN ne nécessite qu'un seul neurone avec des boucles de retard modulées par rétroaction. Via une séquencialisation temporelle des opérations non linéaires, un DNN arbitrairement profond ou large peut être réalisé.

Dans un réseau neuronal traditionnel, tel que GPT-3, chaque neurone peut être pondéré afin d'affiner les résultats. Le résultat, généralement, est que plus de neurones produisent plus de paramètres, et plus de paramètres produisent des résultats plus fins.

Mais l'équipe de Berlin a découvert qu'elle pouvait remplir une fonction similaire en pondérant différemment le même neurone dans le temps au lieu de répartir des neurones de poids différent dans l'espace.

Parun communiqué de pressede l'Université technique de Berlin :

Cela reviendrait à un seul invité simulant la conversation à une grande table en changeant rapidement de siège et en prononçant chaque partie.

"Rapidly" est un euphémisme cependant. L'équipe affirme que leur système peut théoriquement atteindre des vitesses approchant la limite de l'univers en déclenchant des boucles de rétroaction basées sur le temps dans le neurone via des lasers – un réseau neuronal à ou près de la vitesse de la lumière.

Qu'est-ce que cela signifie pour l'IA ? Selon les chercheurs, cela pourrait contrer la hausse des coûts énergétiques liés à la formation de réseaux solides. Finalement, nous allons manquer d'énergie faisable à utiliser si nous continuons à doubler ou tripler les besoins d'utilisation avec des réseaux plus grands au fil du temps.

Mais la vraie question est de savoir si un seul neurone coincé dans une boucle temporelle peut produire les mêmes résultats que des milliards.

Lors des premiers tests, les chercheurs ont utilisé le nouveau système pour effectuer des fonctions de vision par ordinateur. Il a été capable de supprimer le bruit ajouté manuellement des images de vêtements afin de produire une image précise, ce qui est considéré comme assez avancé pour l'IA moderne.

Avec un développement ultérieur, les scientifiques pensent que le système pourrait être étendu pour créer "un nombre illimité" de connexions neuronales à partir de neurones suspendus dans le temps.

Il est possible qu'un tel système puisse surpasser le cerveau humain et devenir le réseau de neurones le plus puissant au monde, ce que les experts en IA appellent un "superintelligence.”