Il y a beaucoup de battage publicitaire et de désinformation sur la nouvelle mise à jour de l'algorithme de Google. Qu'est-ce que est BERT, comment cela fonctionne-t-il et pourquoi est-ce important pour notre travail en tant que SEO? Rejoignez Britney Muller, notre experte en apprentissage automatique et en traitement du langage naturel, qui décrit en détail ce que BERT signifie et ce que cela signifie pour le secteur de la recherche.
Cliquez sur l'image du tableau blanc ci-dessus pour ouvrir une version en haute résolution dans un nouvel onglet!
Transcription vidéo
Hé, fans de Moz. Bienvenue dans une autre édition de Whiteboard Friday. Aujourd'hui, nous parlons de tout ce qui concerne le BERT et je suis super excité d'essayer de vraiment le décomposer pour tout le monde. Je ne prétends pas être un expert du BERT. Je viens de faire beaucoup de recherches. J'ai pu interviewer des experts dans le domaine et mon objectif est d'essayer d'être un catalyseur pour que cette information soit un peu plus facile à comprendre.
Il y a une tonne de troubles dans l'industrie à propos de l'optimisation du BERT. Bien que cela soit tout à fait vrai, vous ne pouvez pas, vous devez juste écrire un très bon contenu pour vos utilisateurs, je pense toujours que beaucoup d’entre nous sommes entrés dans cet espace parce que nous sommes curieux de nature. Si vous êtes curieux d’en apprendre un peu plus sur BERT et que vous êtes en mesure de mieux l'expliquer aux clients ou d'avoir de meilleures conversations sur le contexte de BERT, j'espère que vous apprécierez cette vidéo. Sinon, et ce n'est pas pour vous, c'est bien aussi.
Mise en garde: Ne faites pas trop de bruit à BERT!
Je suis très heureux de pouvoir intervenir directement. La première chose que je veux dire, c'est que j'ai pu m'asseoir avec Allyson Ettinger qui est un chercheur en traitement du langage naturel. Elle est professeur à l'Université de Chicago. Quand j'ai eu l'occasion de parler avec elle, la conclusion principale était qu'il était très, très important de ne pas exagérer BERT. Il y a beaucoup de remue-ménage en ce moment, mais il est encore loin de comprendre le langage et le contexte de la même manière que nous, les humains, pouvons le comprendre. Je pense donc qu'il est important de garder à l'esprit que nous ne mettons pas trop l'accent sur ce que ce modèle peut faire, mais c'est toujours très excitant et c'est un moment assez monumental pour la PNL et l'apprentissage automatique. Sans plus tarder, intervenons immédiatement.
D'où est venu le BERT?
Je voulais donner à chacun un contexte plus large d'où venait le BERT et où il allait. Je pense souvent que ces annonces sont une sorte de bombes larguées sur l'industrie et qu'il s'agit essentiellement d'une image immobile dans une série de films et que nous ne prenons pas toutes les mesures nécessaires avant et après. Nous venons d'obtenir celui-ci encore cadre. Nous obtenons donc cette annonce du BERT, mais revenons un peu en arrière.
Traitement du langage naturel
Traditionnellement, les ordinateurs avaient du mal à comprendre le langage. Ils peuvent stocker du texte, nous pouvons saisir du texte, mais la compréhension du langage a toujours été incroyablement difficile pour les ordinateurs. Vient ensuite le traitement du langage naturel (NLP), domaine dans lequel les chercheurs développaient des modèles spécifiques pour résoudre divers types de compréhension du langage. Quelques exemples sont la reconnaissance d’entité nommée, la classification. Nous voyons le sentiment, la réponse à la question. Toutes ces choses ont été vendues traditionnellement par des modèles individuels en PNL et cela ressemble donc un peu à votre cuisine.
Si vous pensez à certains modèles, tels que les ustensiles que vous utilisez dans votre cuisine, ils ont tous une tâche très spécifique à laquelle ils se débrouillent très bien. Mais quand le BERT a fait son apparition, c’était en quelque sorte l’ensemble des ustensiles de cuisine. C’est l’un des ustensiles de cuisine qui fait au moins dix ou onze solutions de traitement du langage naturel vraiment très bien une fois qu’il a été mis au point. C'est une différenciation vraiment excitante dans l'espace. C'est pourquoi les gens étaient vraiment excités à ce sujet, parce qu'ils n'avaient plus toutes ces choses uniques. Ils peuvent utiliser BERT pour résoudre tous ces problèmes, ce qui est logique car Google les intégrerait dans leur algorithme. Super, super excitant.
Où va le BERT?
Où se trouve cette rubrique? Où est-ce que ça va? Allyson avait déclaré,
"Je pense que nous allons suivre la même trajectoire pendant un moment en construisant des variantes plus grandes et plus performantes du BERT qui sont plus solides car BERT est fort et a probablement les mêmes limites fondamentales." [19659016] Il existe déjà des tonnes de versions différentes de BERT et nous allons continuer à en voir de plus en plus. Il sera intéressant de voir où se dirige cet espace.
Comment BERT est-il devenu si intelligent?
Pourquoi ne pas jeter un œil à une vue très simpliste de la façon dont BERT est devenu si intelligent? Je trouve ces choses fascinantes. C'est assez étonnant que Google ait réussi à le faire. Google a pris du texte Wikipedia et beaucoup d’argent pour des TPU de calcul dans lesquels ils étaient rassemblés dans un pod V3, un système informatique gigantesque capable d’alimenter ces modèles. Et ils utilisèrent un réseau de neurones non supervisé . Ce qui est intéressant dans la façon dont il apprend et devient plus intelligent, c’est qu’il faut une longueur de texte arbitraire, ce qui est bien, car le langage est assez arbitraire dans la façon dont nous parlons, dans la longueur des textes, et il le transcrit en vecteur.
Cela prendra une longueur de texte et le codera en un vecteur, qui est une chaîne fixe de nombres pour aider à le traduire en quelque sorte dans la machine. Cela se produit dans un espace vraiment sauvage et dimensionnel que nous ne pouvons même pas vraiment imaginer. Mais ce qu’il fait, c’est qu’il met ensemble le contexte et différentes choses dans notre langue dans les mêmes domaines. Semblable à Word2vec, il utilise cette astuce appelée masquage .
Il faudra donc différentes phrases pour s'entraîner et masquer un mot. Il utilise ce modèle bidirectionnel pour examiner les mots avant et après afin de prédire le mot masqué. Il le fait encore et encore jusqu'à ce qu'il soit extrêmement puissant. Et ensuite, il peut être affiné pour effectuer toutes ces tâches de traitement de langage naturel. Vraiment, vraiment excitant et amusant, d'être dans cet espace.
En un mot, BERT est le premier centre profondément bidirectionnel. Cela signifie simplement qu'il ne s'agit que de regarder les mots avant et après les entités et le contexte, la représentation non supervisée de la langue, pré-formée sur Wikipedia. C'est donc ce très beau modèle pré-formé qui peut être utilisé de différentes manières.
Quelles sont certaines choses que le BERT ne peut pas faire?
Allyson Ettinger a écrit ce très bon rapport de recherche intitulé What BERT Can't Do . Vous pouvez utiliser un lien Bitly pour y accéder directement. La conclusion la plus surprenante de ses recherches est ce domaine du diagnostic de la négation, ce qui signifie que BERT n’est pas très bon pour comprendre la négation .
Par exemple, quand on saisit avec un merle, c'est un… Il prédit que l'oiseau, c'est vrai, c'est génial. Mais quand entré un Robin n'est pas un… Il a également prédit l'oiseau. Donc dans les cas où BERT n'a pas vu d'exemples de négation ou de contexte, il aura toujours du mal à comprendre cela. Il y a une tonne d'autres plats vraiment intéressants. Je vous suggère fortement de vérifier cela, de très bonnes choses.
Comment optimisez-vous pour BERT? (Vous ne pouvez pas!)
Enfin, comment optimisez-vous pour BERT? Encore une fois, vous ne pouvez pas. La seule façon d’améliorer votre site Web avec cette mise à jour est d’écrire un contenu vraiment génial pour vos utilisateurs et de réaliser l’intention qu’ils recherchent. Et donc vous ne pouvez pas, mais je dois simplement mentionner une chose, car honnêtement, je ne parviens pas à me le dire: il y a une vidéo sur YouTube où Jeff Dean, nous allons y accéder, c'est un Conférence de Jeff Dean où il parle du BERT et aborde les questions naturelles et la compréhension des questions naturelles. Le gros avantage pour moi était cet exemple, d'accord, supposons que quelqu'un pose la question, pouvez-vous faire et recevoir des appels en mode avion? Bloc de texte dans lequel la couche de traduction en langage naturel de Google tente de comprendre tout ce texte. C'est une tonne de mots. C'est un peu très technique, difficile à comprendre.
Grâce à ces couches, exploitant des éléments tels que BERT, elles ont été en mesure de répondre à toutes ces questions très complexes, longues et confuses. C'est vraiment très puissant dans notre espace. Considérons des choses comme comportant des extraits; considérons des choses comme juste générales Caractéristiques du SERP . Je veux dire, cela peut commencer à avoir un impact énorme sur notre espace. Je pense donc qu'il est important de savoir en quelque sorte ce qui se passe et ce qui se passe dans ce domaine.
J'espère vraiment que vous avez apprécié cette version de Whiteboard Friday. Faites-le moi savoir si vous avez des questions ou des commentaires ci-dessous et j'ai hâte de tous vous revoir la prochaine fois. Merci beaucoup.
