Présentation des chatbots et des grands modèles linguistiques (LLM)

Cette introduction aux chatbots et aux grands modèles linguistiques est exclue du livre Outils d’IA générative pour les développeurs : un guide pratiquedisponible dès maintenant sur SitePoint Premium.

UN chatbot est une application logicielle qui vise à imiter la conversation humaine à travers des interactions textuelles ou vocales, généralement en ligne. Les chatbots ont vu le jour en 1966 lorsqu’un professeur du MIT nommé Joseph Weizenbaum a créé ÉLISAun début traitement du langage naturel programme informatique créé pour explorer la communication entre les humains et les machines.

En 1994, informaticien Michael Maudin a décidé d’appeler ce type de programme un « chatterbot », après avoir inventé Interdireun programme chatterbot et un kit de développement de logiciels d’intelligence artificielle pour Windows et le Web.

L’évolution des chatbots

Les chatbots ont continué à évoluer après ELIZA, trouvant différents objectifs allant du divertissement (avec Jabberwacky) aux soins de santé (avec PARER). Les chatbots créés au cours de cette période étaient destinés à imiter l’interaction humaine dans différentes circonstances. Mais en 1992, Creative Labs a construit Dr Sbaïtso, un chatbot avec synthèse vocale. C’était la première fois que l’apprentissage automatique était intégré dans un chatbot, même s’il ne reconnaissait que des réponses et des commandes limitées ou préprogrammées.

L’image ci-dessous montre l’interface du Dr Sbaitso.

Un autre chatbot appelé ALICE (Entité informatique Internet linguistique artificielle) a été développé en 1995 – un programme engageant une conversation humaine utilisant la correspondance de modèles heuristiques pour mener des conversations.

Tous les chatbots sortis durant cette période sont appelés « Chatbots basés sur des règles », car ils fonctionnaient tous sur un ensemble de règles et de modèles prédéfinis créés par des développeurs humains ou des concepteurs conversationnels pour générer des réponses. Cela signifie que ces chatbots avaient une flexibilité limitée, en raison de leur dépendance à des règles prédéterminées. Il leur manquait la capacité d’apprendre du message d’un utilisateur et de générer une nouvelle réponse. Voici des exemples de telles règles :

• Si un utilisateur pose des questions sur le prix d’un produit, répondez en lui fournissant des informations sur les plans tarifaires.
• Si un utilisateur mentionne un problème technique, fournissez les étapes de dépannage.
• Si un utilisateur exprime sa gratitude, répondez par un message de remerciement.

En 2001, ActiveBuddy, Inc. a lancé publiquement un nouveau chatbot appelé SmarterChild. Il s’agissait d’un robot intelligent distribué sur les réseaux mondiaux de messagerie instantanée (AIM, MSN et Yahoo Messenger) capable de fournir des informations allant des actualités, de la météo, des sports, des informations boursières, etc., et qui permettait aux utilisateurs de jouer à des jeux et également accéder au système de réponse aux questions en langage naturel START du MIT Boris Katz. C’était révolutionnaire, car il démontrait la puissance de l’informatique conversationnelle et, à bien des égards, on peut dire qu’il a été un précurseur de Siri.

La prochaine série de développements remarquables dans le domaine des chatbots a eu lieu dans les années 2010, en partie grâce à la croissance du Web et à la disponibilité des données brutes. Au cours de cette période, de grands progrès ont été réalisés dans le traitement du langage naturel (NLP), à mesure que l’apprentissage des représentations et les méthodes d’apprentissage automatique de type réseau neuronal profond se sont généralisées en PNL.

Certaines des réalisations de cette période comprennent :

• Apprentissage profond et réseaux de neurones. Des développements importants ont été réalisés dans réseaux de neurones récurrents (RNN) qui les ont rendus capables de capturer des modèles linguistiques complexes, des relations contextuelles et une compréhension sémantique, contribuant ainsi à des améliorations significatives des performances des chatbots.

• Analyse des sentiments et compréhension des émotions. L’analyse des sentiments et la compréhension des émotions ont été ajoutées aux techniques de PNL dans les années 2010. Les chatbots ont également intégré ces capacités, leur permettant de reconnaître les sentiments et les émotions des utilisateurs tout en y répondant de manière appropriée. Ce développement a amélioré la capacité du chatbot à fournir des interactions empathiques et personnalisées.

• Reconnaissance des entités nommées et liaison des entités. Le processus de reconnaissance d’entités nommées (NER) et de liaison d’entités s’est également amélioré lorsqu’Alan Ritter a utilisé une hiérarchie basée sur les types d’entités Freebase courants dans des expériences révolutionnaires sur NER par SMS sur les réseaux sociaux.

• Compréhension contextuelle et gestion du dialogue. Les modèles linguistiques sont devenus plus efficaces pour comprendre et maintenir les contextes au sein d’une conversation, et par conséquent les chatbots sont devenus meilleurs dans la gestion des conversations tout en fournissant des réponses plus cohérentes. Le flux et la qualité des interactions se sont également améliorés grâce aux techniques d’apprentissage par renforcement.

• Assistants virtuels à commande vocale. Des domaines tels que la PNL, l’IA et les technologies de reconnaissance vocale ont connu un développement massif entre les années 1990 et les années 2010. La combinaison de ces éléments a conduit au développement d’assistants virtuels intelligents à commande vocale avec un meilleur son que le Dr Sbaitso, qui était le premier chatbot à commande vocale. Un exemple notable d’assistants développés à cette époque était Siri d’Applesorti en 2011, et qui a joué un rôle central dans la vulgarisation des interactions vocales avec les chatbots.

• Intégration de plateformes de messagerie et d’API. Grâce aux progrès réalisés dans le domaine de l’IA, on a constaté une augmentation de l’adoption des chatbots par les plateformes de messagerie telles que Facebook, Slack, WhatsApp, etc. Ces plates-formes ont également permis aux utilisateurs de développer et d’intégrer leurs chatbots personnalisés dotés de différentes capacités, en leur fournissant des API et des outils de développement, qui ont tous conduit à l’adoption de chatbots dans divers secteurs.

Toutes ces avancées ont permis de créer des chatbots capables d’avoir de meilleures conversations. Ils avaient une meilleure compréhension des sujets et offraient une expérience meilleure que la sensation scénarisée de leurs prédécesseurs.

Grands modèles de langage

Aux débuts d’Internet, les moteurs de recherche n’étaient pas aussi précis qu’aujourd’hui. Demandez.com (à l’origine connu sous le nom de Ask Jeeves) a été le premier moteur de recherche permettant aux utilisateurs d’obtenir des réponses à des questions dans un langage naturel de tous les jours. La recherche en langage naturel utilise la PNL, un processus qui utilise une grande quantité de données pour exécuter des modèles statistiques et d’apprentissage automatique afin de déduire le sens de phrases grammaticales complexes. Cela a permis aux ordinateurs de comprendre et d’interagir avec le langage humain, et a ouvert la voie à diverses applications. La PNL a facilité une évolution remarquable, avec l’émergence de grands modèles de langage.

UN grand modèle de langage (LLM) est un modèle de langage informatisé capable d’effectuer diverses tâches de traitement du langage naturel, notamment la génération et la classification de texte, la réponse aux questions à la manière d’un humain et la traduction de texte d’une langue à une autre. Il s’appuie sur une multitude d’articles, d’entrées Wikipédia, de livres, de ressources Internet et d’autres sources, ce qui lui permet d’apprendre à générer des réponses basées sur les données provenant de ces sources.

L’architecture sous-jacente de la plupart des LLM est de deux types :

• Représentations d’encodeurs bidirectionnels à partir de transformateurs (BERTE)

• Transformateurs génératifs pré-entraînés (GPT)

Ces LLM sont tous basés sur l’architecture du modèle de transformateur. Les transformateurs sont un type d’architecture de réseau neuronal qui a révolutionné le domaine du traitement du langage naturel et permis le développement de puissants modèles de langage à grande échelle.

Il utilise mécanismes d’auto-attention pour calculer une somme pondérée pour une séquence d’entrée et déterminer dynamiquement quels jetons de la séquence sont les plus pertinents les uns par rapport aux autres.

L’image ci-dessous montre le fonctionnement de l’architecture du modèle de transformateur.

Comment fonctionnent les LLM

Afin de comprendre le fonctionnement des LLM, nous devons d’abord examiner la manière dont ils sont formés. En utilisant de grandes quantités de textes provenant de livres, d’articles et de diverses parties d’Internet, ils apprennent les modèles et les liens entre les mots. C’est la première étape, connue sous le nom de pré-formation. Il utilise des cadres informatiques distribués et du matériel spécialisé tel que des unités de traitement graphique (GPU) ou des unités de traitement tensoriel (TPU), qui permettent un traitement parallèle efficace. Une fois cela fait, le modèle pré-entraîné doit encore savoir comment effectuer efficacement des tâches spécifiques, et c’est là qu’intervient le réglage fin.

Réglage fin est la deuxième étape de la formation des LLM. Cela implique de former le modèle sur des tâches ou des ensembles de données spécifiques pour le rendre plus spécialisé et utile pour des applications particulières. Par exemple, le LLM peut être affiné sur des tâches telles que la complétion de texte, la traduction, l’analyse des sentiments ou la réponse à des questions.

L’état des chatbots aujourd’hui

Aujourd’hui, nous disposons de chatbots plus puissants que jamais. Ils peuvent effectuer des tâches plus complexes et sont également plus à même de gérer les conversations. En effet, des progrès significatifs ont été réalisés en matière d’IA, de PNL, d’apprentissage automatique, ainsi qu’une augmentation de la puissance de calcul et de la vitesse d’Internet.

Les chatbots ont continué à profiter de ces avancées. Certains des aspects notables de ces avancées comprennent :

• Modèles d’IA avancés. L’introduction de modèles d’IA avancés a révolutionné les capacités des chatbots ces dernières années. Des modèles tels que la série GPT d’OpenAI ont énormément contribué à repousser les limites du traitement du langage naturel et de l’apprentissage automatique. Ces modèles sont formés sur de vastes ensembles de données et peuvent générer des réponses contextuellement pertinentes, rendant les conversations avec les chatbots plus engageantes et plus humaines.

• Capacités multicanaux et multimodales. Les chatbots ne sont plus limités à une seule plateforme ou interface, car ils peuvent fonctionner de manière transparente sur des canaux tels que les sites Web, les applications/plateformes de messagerie et les applications mobiles. Bien qu’ils soient souvent protégés par un paywall, les chatbots se sont également étendus au-delà des interactions textuelles et prennent désormais en charge les entrées multimodales, y compris les images et la voix, offrant ainsi aux utilisateurs la liberté de s’engager via différents supports.

• Apprentissage continu et adaptabilité. Apprenant et s’améliorant continuellement grâce aux interactions des utilisateurs, les chatbots utilisent des mécanismes d’apprentissage par renforcement et de feedback pour adapter leurs réponses au fil du temps, affinant leurs performances et mieux répondant aux besoins des utilisateurs.

• Applications industrielles. De nombreuses applications dans tous les secteurs ont été trouvées pour les chatbots. Par exemple, Airbnb utilise des chatbots pour aider les utilisateurs à répondre aux FAQ, à résoudre les problèmes de réservation et à trouver un logement, tandis que Duolingo utilise un chatbot pour simuler des conversations sur l’apprentissage et les commentaires d’une langue étrangère. Ils sont également utilisés dans d’autres secteurs tels que les institutions financières, les soins de santé et le commerce électronique. Cela nécessite généralement de fournir à ces robots des connaissances spécifiques au domaine afin qu’ils puissent faire un excellent travail dans leurs cas d’utilisation respectifs.

• Intégration avec les systèmes back-end. En raison de cette immense croissance, nous disposons désormais de chatbots qui sont intégrés aux systèmes backend et aux bases de données. Cela leur permet d’accéder et de fournir des informations à jour, ce qui améliore encore leur capacité à fournir des réponses précises et à jour aux requêtes des utilisateurs.

Grâce à tous ces développements, nous disposons désormais de chatbots beaucoup plus intelligents, capables de gérer plusieurs tâches à différentes échelles, allant de la réservation d’une réservation dans votre restaurant préféré, ou d’effectuer des recherches approfondies sur divers sujets avec des références, jusqu’à la résolution de problèmes techniques. dans le développement de logiciels. Certains des chatbots les plus populaires dont nous disposons aujourd’hui incluent celui de Google Bardecelui de Microsoft Chat Binget OpenAI ChatGPT, qui sont tous alimentés par de grands modèles linguistiques. Nous discuterons de tous ces outils sous peu.

Vous souhaitez en savoir plus sur les chatbots, les LLM et autres outils d’IA qui peuvent vous aider dans votre travail de développeur ? Vérifier Outils d’IA générative pour les développeurs : un guide pratiquedisponible dès maintenant sur SitePoint Premium.