Fermer

mai 21, 2020

Qu'est-ce que le traitement du langage naturel — PNL


Le traitement du langage naturel est ce qui permet aux chatbots d'analyser les entrées et de répondre de manière appropriée. Dans cet article, vous aurez une idée générale de ce qu'est la PNL et de son fonctionnement.

Le traitement du langage naturel est la capacité d'un programme informatique à comprendre le langage humain tel qu'il est parlé.

En d'autres termes, la PNL est le mécanisme qui permet aux chatbots – comme NativeChat – d'analyser ce que disent les utilisateurs, d'extraire les informations essentielles et de répondre avec des réponses appropriées.

Par exemple, si l'utilisateur dit: "Quand votre boutique ouvre-t-elle ? ", le chatbot devrait être en mesure de faire correspondre cette question à une conversation sur les heures d'ouverture et de répondre avec: " La boutique ouvre de 9 h à 17 h ".

Ce que vous allez apprendre

Le but de cet article est de vous donner une idée générale de ce qu'est la PNL et de son fonctionnement.

L'idée est qu'avec une meilleure compréhension de la PNL, vous devriez être capable d'entraîner vos chatbots pour mieux comprendre leurs utilisateurs.

Il existe de nombreuses façons de gérer chaque étape du traitement de la PNL, cependant, nous n'entrerons pas dans trop de détails, car le but de cet article est de se concentrer sur la vue d'ensemble.

La compréhension de haut niveau

D'un point de vue de haut niveau, Le traitement du langage naturel fonctionne en deux étapes:

Formation au modèle PNL

Dans cette étape, nous (en tant que personnes qui forment nos chatbots) fournissons à nos chatbots une liste d'expressions que nous aimerions qu'ils associent à diverses conversations.

NLP prend toutes les expressions de formation et crée un modèle, qui peut être utilisé pour comprendre ce que disent les utilisateurs.

Remarque, la formation du modèle doit être effectuée à l'avance avant que le chatbot ne commence à interagir avec les utilisateurs. [19659015] Traiter la saisie et la réponse de l'utilisateur

Chaque fois qu'un utilisateur dit quelque chose, la PNL prend la saisie de l'utilisateur et la compare au modèle PNL, analyse les résultats et répond par une réponse ou une question de suivi.

Formation sur le modèle PNL [19659006] Avant de laisser nos chatbots interagir avec les u nous devons former le modèle PNL.
Mais qu'est-ce que cela signifie?

Cela revient à créer une image mentale de toutes les conversations qu'un chatbot devrait connaître, ainsi que le type d'expressions qui devraient déclencher chaque conversation.

Il est important de comprendre que le Le modèle PNL est spécifique aux scénarios auxquels il est destiné. Ainsi, un chatbot bancaire devrait être en mesure de comprendre et de répondre aux demandes liées à la Banque (comme: "Comment puis-je modifier la limite de ma carte de crédit?"), Tandis qu'un chatbot shopping devrait être en mesure de gérer la conversation en aidant un client heureux.

Exemple

Par exemple, nous pourrions former notre chatbot à gérer deux conversations pour permettre aux utilisateurs de demander l'adresse ou le numéro de téléphone du bureau.

Questions de formation Réponse
Q&R de l'adresse [19659026] Quelle est votre adresse?
Où êtes-vous situé?
14 Oak Park Drive, Bedford, MA 01730
Téléphone Q&A Sur quel téléphone puis-je vous joindre?
Quel est votre numéro de téléphone ?
+ 1-781-280-4000

Le modèle NLP de chatbot est formé en trois étapes:

  • Tokenisation
  • Mise en surbrillance des jetons fréquents
  • Détection de collision

Tokenisation

La tokenisation est un processus dans lequel nous prenons une expression et la divisons en mots individuels et en ponctuation mar ks, qui sont appelés jetons.

Par exemple: "Quelle est votre adresse?", serait transformé en cinq jetons. Comme ceci:

 Tokenization "title =" Tokenization-1 "align =" middle "/> </p>
<h4> Exemple </h4>
<p> De même, toutes les questions de formation doivent être transformées en jetons suivants: </p>
<p> <img decoding=

Le but des jetons est que la PNL compare les jetons de formation avec les entrées de l'utilisateur lorsqu'ils interagissent avec le chatbot.

Cependant, avant cela, la PNL doit faire certaines traitement ultérieur des jetons de formation, pour identifier les jetons qui sont plus ou moins importants lorsqu'une correspondance se produit.

Mise en surbrillance des jetons fréquents

Vous pouvez probablement imaginer que tous les jetons ne sont pas également importants.

La mise en évidence de la PNL est plus précieuse jetons en identifiant ceux qui se répètent dans la même conversation.
L'idée est d'identifier les mots / signes de ponctuation qui sont couramment utilisés pour déclencher une conversation spécifique.

La PNL parcourt chaque conversation une par une, analyse les jetons de conversation et met en évidence les fréquents. Cependant, à ce stade, il ne compare pas les jetons appartenant à d'autres conversations.

Exemple

Par exemple, si nous regardons l'ensemble de formation pour l'adresse Q&A.
Vous remarquerez que le (?) est utilisé dans les deux expressions, cependant, (votre) et (vous) ne devraient pas compter comme des jetons répétitifs car ils ne sont pas exactement les mêmes (enfin … pas sauf si vous vivez dans le nord de l'Angleterre ?).

 Mettez en surbrillance la conversation Q&R sur l'adresse

Alors, si nous regardons l'ensemble de formation pour le Q & A du téléphone.
Vous remarquerez que (quoi) (téléphone) et (?) sont utilisés entre les deux expressions.

 Mettez en surbrillance Conversation Q&R téléphonique ]

Détection de collision

Tout comme les jetons fréquents pour chaque conversation sont mis en évidence comme étant plus importants, la PNL identifie également les jetons qui continuent de se répéter dans différentes conversations. C'est ce qu'on appelle la détection de collision.

L'idée est que si le jeton (quoi) est utilisé dans la formation pour plusieurs conversations, alors vous pouvez imaginer que faire correspondre ce jeton n'est pas aussi utile que faire correspondre un jeton unique ou en surbrillance. Par conséquent, nous devons le traiter comme moins important.

Pour mieux comprendre ce processus, il est préférable de visualiser chaque jeton de conversation car il appartient à son ensemble respectif de jetons. En conséquence, nous pouvons afficher les jetons en surbrillance (en vert ) comme un seul jeton dans chaque ensemble. Comme ceci:

 Jetons en tant qu'ensemble

Dans le cadre de l'étape de détection de collision, la PNL recherche les doublons entre tous les ensembles de conversations et les marque comme collisions.

Exemple

Suite à notre par exemple, nous pouvons comparer les jetons à gauche avec les jetons à droite, et trouver 5 collisions (quoi) (est) (votre) , (vous) et (?) et marquez-les comme des collisions (en rouge ). Comme ceci:

 Détection de collision

Le modèle NLP

Enfin, nous pouvons représenter l'ensemble du modèle dans un diagramme de Venn, où:

  • Unique ( bleu ) et surligné ( vert ) Jetons – assis dans leurs ensembles respectifs
  • Les jetons de collision ( rouge ) – assis à l'intersection des ensembles

 Détection de collision avec intersection d'ensembles

Correspondance des expressions utilisateur

Une fois que votre chatbot a un modèle NLP formé, il peut essayer de communiquer avec les utilisateurs.

Chaque fois que l'utilisateur dit quelque chose, NLP gère l'entrée en procédant comme suit: [19659032] (1) trouver les conversations correspondantes

  • (2) marquer la meilleure correspondance
  • (3) répondre à l'utilisateur
  • Trouver les conversations correspondantes

    Pour trouver les conversations correspondantes, le PNL prend l'expression dite par l'utilisateur et se divise en jetons.
    Ensuite, il compare les jetons utilisateur avec ceux du modèle NLP, pour trouver tous les jetons correspondants et les conversations correspondantes.

    À la suite de quoi, NLP devrait être en mesure d'identifier quelle conversation correspondait au plus de jetons et la qualité de chaque jeton.

    Exemple # 1 – Où est situé votre bureau?

    Pour revenir à notre exemple, lorsque l'utilisateur dit: "Où est situé votre bureau?"
    La PNL doit être en mesure d'identifier les correspondances suivantes:

    Conversation Q&A d'adresse – 5 jetons correspondants

    • 2 jetons uniques
    • 3 jetons pénalisés

    Conversation Q&A téléphonique – 3 jetons correspondants

    Sur la base de ces correspondances, nous pouvons voir que la conversation Q&R d'adresse est la meilleure conversation correspondante .

     exemple: où se trouve votre bureau

    Exemple # 2 – Quel est votre numéro de téléphone?

    Dans un autre exemple, l'utilisateur dit (l'erreur de grammaire est intentionnelle): "Quel est votre numéro de téléphone?"

    La PNL devrait être en mesure d'identifier les correspondances suivantes:

    Adresse Q&A conversation – 4 jetons correspondants

    • 1 jeton unique
    • 3 jetons pénalisés

    Conversation Q&A téléphonique

    Conversation Q&A téléphonique – 5 jetons assortis

    • 2 jetons uniques – avec 1 jeton en surbrillance
    • 3 jetons pénalisés ens

    Par conséquent, la conversation Q&R téléphonique apparaît comme la correspondance favorable .

     exemple: quel est votre numéro de téléphone

    Notation de la meilleure correspondance

    L'étape suivante consiste à attribuer un score de confiance aux conversations les mieux adaptées.

    Sans entrer dans les détails du calcul du score de confiance, la PNL prend en compte le nombre de: [19659032] Jetons assortis – plus c'est meilleur

  • Jetons surlignés – chacun augmente le score de confiance
  • Jetons de collision – chacun réduit l'importance du jeton match
  • Jetons d'entrée – une entrée plus longue nécessite plus de jetons correspondants
  • Tous les détails ci-dessus sont fournis au calculateur NLP, qui renvoie un score de confiance de 0 à 100% (ou 0 à 1), qui est la confiance du PNL qu'une conversation donnée est un bon match. [19659003]  score de confiance

    Réponse à l'utilisateur

    Enfin, si le score de confiance est supérieur à 65% – ce qui est considéré comme une correspondance réussie – le chatbot répondra avec la réponse appropriée. Alors que pour tout score de confiance inférieur à ce seuil – cela est considéré comme une correspondance de faible confiance – le chatbot répondra par quelque chose comme: "Désolé, je ne comprends pas."

    Exemple

    Enfin, l'expression utilisateur "Où se trouve votre bureau?" entraînerait une correspondance de confiance élevée avec la conversation Q&R sur l'adresse. À la suite de quoi le chatbot répondrait par: "14 Oak Park Drive, Bedford, MA 01730".

     réponse basée sur la confiance

    Mot final

    De une vue de haut niveau, la PNL est un processus assez simple – bien que le diable se trouve dans les détails – que nous pouvons utiliser à notre avantage lorsque nous devons former nos propres chatbots.

    Si vous voulez améliorer votre compréhension des chatbots de la entrée utilisateur, puis assurez-vous de lui donner des données de formation plus utiles:

    • Aidez-le à comprendre quels mots doivent être considérés comme plus importants, en répétant les mots importants
    • Si cela est raisonnablement possible, évitez les expressions qui ont trop de mots pénalisés [19659092] Mais aussi, vous devriez être en mesure de comprendre quand et pourquoi l'ajout d'une nouvelle conversation à l'ensemble de formation pourrait faire en sorte que des conversations auparavant hautement fiables commencent à donner des scores de confiance plus faibles.

    Donnez-nous un cri

    Seriez-vous intéressé par un poster sur Tips & T

    Faites-nous savoir ce que vous pensez de cet article ou envoyez-nous vos questions dans le commentaire ci-dessous.

    Essayez NativeChat

    Si vous souhaitez créer un chatbot, NativeChat est une plate-forme innovante basée sur l'IA pour créer et déployer des chatbots cognitifs sécurisés qui apprennent et s'adaptent automatiquement pour générer un flux de conversation naturel pour les clients sur le canal de leur choix – Web, social ou mobile.

    Vous peut apprendre à construire un chatbot en quelques heures. Suivez simplement ce didacticiel pas à pas et bientôt vous aurez un chatbot qui pourra à la fois répondre à des questions et des réponses simples, et aussi gérer des conversations plus complexes.




    Source link