IA générative : un changement de paradigme dans les opportunités d’entreprise et de démarrage

Une autre technique qui s’est répandue du début au milieu des années 2000 était l’intégration. C’est une façon de représenter des données, le plus souvent des mots, sous forme de vecteurs numériques. Bien que les technologies destinées aux consommateurs, telles que ChatGPT, démontrent ce qui ressemble à une logique humaine, elles sont un excellent exemple de la puissance des incorporations de mots. Les incorporations de mots sont conçues pour capturer les relations sémantiques et syntaxiques entre les mots. Par exemple, la représentation dans l’espace vectoriel des mots « chien » et « lion » serait beaucoup plus proche l’un de l’autre que de l’espace vectoriel pour « pomme ». La raison en est que « chien » et « lion » ont des similitudes contextuelles considérables. Dans l’IA générative, cela permet à un modèle de comprendre les relations entre les mots et leur signification dans le contexte, ce qui permet à des modèles comme ChatGPT de fournir un texte original qui est contextuellement pertinent et sémantiquement précis.

Les incorporations se sont avérées un immense succès en tant que représentation du langage et ont alimenté l’exploration de nouvelles architectures de réseaux neuronaux plus puissantes. L’une des plus importantes de ces architectures, le « transformateur », a été développée en 2017. Le transformateur est une architecture de réseau neuronal conçue pour traiter des données d’entrée séquentielles, telles que le langage naturel, et effectuer des tâches telles que le résumé ou la traduction de texte. Notamment, le transformateur intègre un mécanisme « d’auto-attention ». Cela permet au modèle de se concentrer sur différentes parties de la séquence d’entrée selon les besoins pour capturer les relations complexes entre les mots d’une manière contextuelle. Ainsi, le modèle peut apprendre à peser l’importance de chaque partie des données d’entrée différemment pour chaque contexte. Par exemple, dans la phrase « le chien n’a pas sauté la clôture parce qu’il était trop fatigué », le modèle regarde la phrase pour traiter chaque mot et sa position. Ensuite, grâce à l’auto-attention, le modèle évalue les positions des mots pour trouver l’association la plus proche avec « cela ». L’auto-attention est utilisée pour générer une compréhension de tous les mots de la phrase par rapport à celui que nous traitons actuellement, « ça ». Par conséquent, le modèle peut associer le mot « ça » au mot « chien » plutôt qu’au mot « clôture ».

Les progrès dans les architectures d’apprentissage en profondeur, le calcul efficacement distribué et les algorithmes et méthodologies de formation ont permis de former des modèles plus grands. Au moment de la rédaction de cet article, le plus grand modèle est ChatGPT3 d’OpenAI, qui se compose de 173 milliards de paramètres ; Les informations sur les paramètres ChatGPT4 ne sont pas encore disponibles. ChatGPT3 est également remarquable car il a «absorbé» les plus grandes quantités de texte connues publiquement, 45 To de données, sous forme d’exemples de texte, tout le contenu textuel d’Internet et d’autres formes d’expression humaine.

Alors que l’utilisation combinée de techniques telles que l’apprentissage par transfert, l’intégration et les transformateurs pour l’IA générative est évolutive, l’impact sur la façon dont les systèmes d’IA sont construits et sur l’adoption par l’entreprise est révolutionnaire. En conséquence, la course à la domination des modèles de base, tels que les modèles populaires de grande langue (LLM), est lancée avec des entreprises en place et des startups en lice pour une position gagnante ou gagnante.

Alors que les besoins en capitaux pour les modèles de base sont élevés, favorisant les grands opérateurs historiques de la technologie ou les startups extrêmement bien financées (lire des milliards de dollars), les opportunités de perturbation par l’IA générative sont profondes et étendues dans toute l’entreprise.

Comprendre la pile technologique

Pour exploiter efficacement le potentiel de l’IA générative, les entreprises et les entrepreneurs doivent comprendre comment ses couches technologiques sont classées et les implications de chacune sur la création de valeur.