Mise à jour de base de Google de mai 2020: gagnants, gagnants, gagnants et pourquoi tout cela est probablement de la merde

Le 4 mai Google a annoncé qu'ils déployaient une nouvelle mise à jour de base. Le 7 mai, il semblait que la poussière s'était en grande partie déposée. Voici une vue de 11 jours de MozCast:

Nous avons mesuré une volatilité relativement élevée du 4 au 6 mai, avec un pic de 112,6 ° le 5 mai. Notez que la température moyenne sur 30 jours avant le 4 mai était historiquement très élevée ( 89.3 °).

Comment cela se compare-t-il aux précédentes mises à jour de base? Avec la mise en garde que les températures récentes ont été bien au-dessus des moyennes historiques, la mise à jour de base de mai 2020 était notre deuxième mise à jour de base la plus chaude jusqu'à présent, se situant juste en dessous de la mise à jour «Medic» d'août 2018.

Qui a «gagné» le noyau de mai

Il est courant de signaler les gagnants et les perdants après une mise à jour majeure (et je l'ai fait moi-même), mais depuis un certain temps maintenant, je crains que ces analyses ne capturent qu'une petite fenêtre de temps. Chaque fois que nous comparons deux points fixes dans le temps, nous ignorons la volatilité naturelle des classements de recherche et les différences inhérentes entre les mots clés.

Cette fois-ci, je voudrais jeter un regard attentif sur les pièges. Je vais me concentrer sur les gagnants. Le tableau ci-dessous présente les gagnants d'un jour (5 mai) par classement total dans l'ensemble de suivi MozCast de 10 000 mots clés. J'ai seulement inclus des sous-domaines avec au moins 25 classements le 4 mai:

En mettant de côté les suspects statistiques habituels (petites tailles d'échantillon pour certains mots clés, les avantages et les inconvénients uniques de notre ensemble de données, etc.), quel est le problème avec cette analyse? Bien sûr, il existe différentes façons de signaler le «% de gain» (comme le changement absolu par rapport au pourcentage relatif), mais j'ai rapporté honnêtement les chiffres absolus et le changement relatif est exact.

Le problème est que, en se précipitant pour exécuter les chiffres après une journée, nous avons ignoré la réalité que la plupart des mises à jour de base sont sur plusieurs jours (une tendance qui semblait se poursuivre pour la mise à jour de base de mai, comme en témoigne notre graphique initial). Nous n'avons pas non plus pris en compte les domaines dont le classement peut être historiquement volatil (mais plus à ce sujet dans un peu). Que se passe-t-il si nous comparons les données sur 1 jour et 2 jours?

Quelle histoire racontons-nous?

Le tableau ci-dessous ajoute le pourcentage relatif sur 2 jours gagné. J'ai conservé les 25 mêmes sous-domaines et je continuerai de les trier selon le pourcentage de 1 jour gagné, par souci de cohérence:

Même en comparant simplement les deux premiers jours du déploiement, nous pouvons voir que l'histoire change considérablement . Le problème est: quelle histoire racontons-nous? Souvent, nous ne regardons même pas des listes, mais des anecdotes basées sur nos propres clients ou des données de sélection. Considérez cette histoire:

Si c'était notre seule vue des données, nous conclurions probablement que la mise à jour s'est intensifiée au cours des deux jours, le deuxième jour récompensant encore plus les sites. Nous pourrions même commencer à créer une histoire sur la croissance de la demande d'applications ou sur la récompense de certains sites d'actualités. Ces histoires peuvent avoir un grain de vérité, mais le fait est que nous n'avons aucune idée de ces seules données.

Maintenant, choisissons trois points de données différents (tous ceux-ci sont du top 20):

vue limitée, nous pourrions conclure que Google a décidé que la mise à jour principale s'est mal passée et l'a inversée le deuxième jour. Nous pourrions même conclure que certains sites d'information étaient pénalisés pour une raison quelconque. Cela raconte une histoire très différente de la première série d'anecdotes.

Il y a une histoire encore plus étrange enfouie dans les données de mai 2020. Considérez ceci:

LinkedIn a montré une bosse mineure (une que nous ignorerions généralement) le premier jour, puis a perdu 100% de son classement le deuxième jour. Wow, cette mise à jour de mai peut vraiment donner du punch! Il s'avère que LinkedIn a accidentellement désindexé leur site – ils ont récupéré le lendemain, et il semble que ce changement massif n'a rien à voir avec la mise à jour principale. La simple vérité est que ces chiffres nous en disent très peu sur les raisons pour lesquelles un site a gagné ou perdu des classements.

Comment définissons-nous "normal"?

Examinons de plus près les données MarketWatch. Marketwatch a gagné 19% dans les statistiques sur 1 jour, mais a perdu 2% dans les chiffres sur 2 jours. Le problème ici est que nous ne savons pas à partir de ces chiffres à quoi ressemble le flux SERP normal de MarketWatch. Voici un graphique de sept jours avant et après le 4 mai (début de la mise à jour principale):

En regardant même un petit peu de données historiques, nous pouvons voir que MarketWatch, comme la plupart des sites d'actualités, connaît une volatilité importante. Les «gains» du 5 mai ne sont dus qu'aux pertes du 4 mai. Il s'avère que la moyenne sur 7 jours après le 4 mai (45,7) n'est qu'une légère augmentation par rapport à la moyenne sur 7 jours avant le 4 mai (44,3), avec MarketWatch mesurant un gain relatif modeste de +3,2%.

Maintenant regardons Google Play, qui semblait être un gagnant clair après deux jours:

Vous n'avez même pas besoin de faire le calcul pour voir la différence ici . En comparant la moyenne de 7 jours avant le 4 mai (232,9) à la moyenne de 7 jours après (448,7), Google Play a connu un changement relatif spectaculaire de + 93% après la mise à jour de base de mai.

Comment cela se produit-il 7 jours avant / après un travail de comparaison avec l'incident LinkedIn? Voici un graphique de l'avant / après avec des lignes pointillées ajoutées pour les deux moyennes:

Bien que cette approche aide certainement à compenser l'anomalie d'un jour, nous affichons toujours un changement avant / après de -16%, ce qui n'est pas ' t vraiment en phase avec la réalité. Vous pouvez voir que six des sept jours après la mise à jour de base de mai étaient supérieurs à la moyenne de 7 jours. Notez que LinkedIn a également une volatilité relativement faible au cours de l'histoire à court terme.

Pourquoi suis-je en train de choisir un exemple extrême où ma nouvelle métrique est insuffisante? Je veux qu'il soit parfaitement clair qu'aucune métrique ne pourra jamais raconter toute l'histoire. Même si nous avons tenu compte de la variance et effectué des tests statistiques, il nous manque encore beaucoup d'informations. Une différence claire avant / après ne nous dit pas ce qui s'est réellement passé, mais seulement qu'il y a eu un changement en corrélation avec le moment de la mise à jour principale. Ces informations sont utiles, mais elles nécessitent encore une enquête plus approfondie avant de tirer des conclusions radicales.

Dans l'ensemble, cependant, l'approche est certainement meilleure que les tranches d'une journée. L'utilisation de la comparaison moyenne 7 jours avant / après tient compte à la fois des données historiques et de sept jours complets après la mise à jour. Et si nous élargissions cette comparaison des périodes de 7 jours à l'ensemble de données plus large? Voici notre liste originale de «gagnants» avec les nouveaux numéros:

Évidemment, c'est beaucoup à digérer dans un tableau, mais nous pouvons commencer à voir où la métrique avant et après (la différence relative entre les moyennes sur 7 jours ) montre, dans certains cas, une image différente de la vue 1 jour ou 2 jours. Allons de l'avant et reconstruisons le top 20 en fonction du changement de pourcentage avant et après:

Certains des grands acteurs sont les mêmes, mais nous avons également quelques nouveaux arrivants – y compris des sites qui semblaient avoir perdu la visibilité le premier jour, mais ont accumulé des gains de 2 jours et de 7 jours.

Jetons un coup d'œil à Parents.com, notre grand gagnant d'origine (gagnant? gagnantest?). Le premier jour a montré un gain massif de + 100% (visibilité doublée), mais les chiffres du deuxième jour étaient plus modestes, et les gains avant et après ont atteint un peu moins de la moitié du gain du premier jour. Voici les sept jours avant et après:

Il est facile de voir ici que le saut du premier jour était une anomalie à court terme, basée en partie sur une baisse du 4 mai. La comparaison des moyennes sur 7 jours semble obtenir beaucoup plus proche de la vérité. C'est un avertissement non seulement pour les trackers algo comme moi, mais pour les SEO qui pourraient voir cela à + 100% et se précipiter pour en parler à leur patron ou client. Ne laissez pas les bonnes nouvelles devenir une promesse que vous ne pouvez pas tenir.

Pourquoi continuons-nous à faire cela?

S'il semble que j'appelle l'industrie, notez que je suis carrément dans mon propre réticule ici. Il y a une énorme pression pour publier des analyses tôt, non seulement parce que cela équivaut au trafic et aux liens (franchement, c'est le cas), mais parce que les propriétaires de sites et les SEO veulent vraiment des réponses. Comme je l'ai écrit récemment, je pense qu'il y a un danger énorme à surinterpréter les pertes à court terme et à réparer les mauvaises choses . Cependant, je pense qu'il y a aussi un réel danger à surestimer les victoires à court terme et à espérer que ces gains seront permanents. Cela peut conduire à des décisions tout aussi risquées.

Est-ce que c'est de la merde? Non, je ne pense pas, mais je pense qu'il est très facile de descendre du trottoir et de rentrer dans la boue après une tempête, et au moins nous devons attendre que le sol sèche. Ce n'est pas facile dans un monde de Twitter et de cycles d'actualités de 24 heures, mais il est essentiel d'avoir une vue sur plusieurs jours, d'autant plus que de nombreuses mises à jour d'algorithmes volumineuses se déroulent sur de longues périodes.

Quels chiffres faut-il croire? Dans un sens, tous, ou du moins tous ceux que nous pouvons vérifier adéquatement. Aucune métrique ne va jamais brosser un tableau complet, et avant de vous précipiter pour célébrer votre inscription sur la liste des gagnants, il est important de passer à l'étape suivante et de vraiment comprendre les tendances historiques et le contexte de toute victoire.

Qui veut

Compte tenu de la portée de l'analyse, je n'ai pas couvert les perdants de la mise à jour de base de mai 2020 dans ce post ou dépassé le Top 20, mais vous pouvez télécharger les données brutes ici . Si vous souhaitez le modifier, veuillez d'abord en faire une copie. Les gagnants et les perdants sont sur des onglets séparés, et cela couvre tous les domaines avec au moins 25 classements dans notre ensemble de données MozCast 10K le 4 mai (un peu plus de 400 domaines).