Tests d'hypothèses en référencement et signification statistique – Whiteboard Friday

A / B: tester vos modifications SEO peut vous apporter un avantage concurrentiel et vous permettre d'éviter les modifications négatives susceptibles de réduire votre trafic. Dans cet épisode de Whiteboard Friday, Emily Potter explique non seulement pourquoi il est important de tester vos modifications en mode A / B, mais également sur la manière de développer une hypothèse, sur la collecte et l'analyse des données et sur les idées que vous pouvez tirer pour tirer des conclusions.

Cliquez sur. l'image du tableau blanc ci-dessus pour ouvrir une version haute résolution dans un nouvel onglet!

Transcription vidéo

Howdy, fans de Moz. Je suis Emily Potter et je travaille chez Distilled dans notre bureau de Londres. Aujourd'hui, je vais vous parler des tests d'hypothèses en référencement naturel et en signification statistique.

Chez Distilled, nous utilisons une plateforme appelée ODN, qui est le Distilled Optimization Delivery Network à faire. Test de référencement A / B. Maintenant, dans cela, nous utilisons des tests d'hypothèses. Vous ne pourrez peut-être pas déployer l'ODN, mais je pense toujours qu'aujourd'hui, vous pouvez tirer des enseignements de ce dont je parle.

Test d'hypothèse

Les quatre étapes principales du test d'hypothèse

Alors, quand ' En utilisant des tests d’hypothèses, nous utilisons quatre étapes principales:

1. Premièrement, nous formulons une hypothèse
2. Ensuite, nous recueillons des données sur cette hypothèse.
3. Nous analysons les data, puis …
4. Nous en tirons quelques conclusions à la fin.

La partie la plus importante des tests A / B est une hypothèse forte. J'ai donc parlé de la façon de formuler une forte hypothèse de référencement.

1. Formulation de votre hypothèse

Trois mécanismes pour aider à formuler une hypothèse

Nous devons maintenant nous rappeler qu'avec la SEO, nous essayons d'avoir un impact sur trois facteurs pour augmenter le trafic organique.

1. améliorer les taux de clics organiques. Ainsi, tout changement que vous apportez rendrait votre apparition dans les SERP plus attrayant pour vos concurrents et donc plus de gens cliqueraient sur votre annonce.
2. Ou vous pouvez améliorer votre classement des produits biologiques afin que vous '
3. Ou nous pourrions aussi classer plus de mots clés

Vous pourriez également avoir un impact sur ces trois aspects. Mais vous voulez simplement vous assurer que l'un de ces objectifs est clairement ciblé, sinon ce n'est pas vraiment un test de référencement.

2. Collecte des données

Nous allons maintenant collecter nos données. Encore une fois, chez Distilled, nous utilisons la plate-forme ODN pour ce faire. Maintenant, avec la plate-forme ODN, nous effectuons des tests A / B, et nous scindons des pages dans des compartiments statistiquement similaires.

Test A / B avec votre contrôle et votre variante

Une fois cette opération effectuée, nous prenons notre groupe de variantes et nous utilisons une analyse mathématique pour déterminer ce que nous pensons que le groupe de variantes aurait fait si nous n'avions pas procédé à ce changement.

Donc, ici, nous avons la ligne noire, et c'est ce qui se passe. Il prédit ce que notre modèle pensait que le groupe des variantes ferait si nous n'avions apporté aucun changement. Cette ligne en pointillé est celle du début du test. Comme vous pouvez le constater après le test, il y a eu une séparation. Cette ligne bleue est en réalité ce qui s'est passé.

Maintenant, comme il y a une différence entre ces deux lignes, nous pouvons voir un changement. Si nous descendons ici, nous traçons la différence entre ces deux lignes.

Comme la ligne bleue est au-dessus de la ligne noire, nous appelons cela un test positif. Maintenant, cette partie verte représente notre intervalle de confiance, et celui-ci, en tant que norme, correspond à un intervalle de confiance de 95%. Maintenant, nous utilisons cela parce que nous utilisons des tests statistiques. Ainsi, lorsque les lignes vertes se trouvent toutes au-dessus de la ligne zéro ou en dessous pour un test négatif, nous pouvons appeler cela un test statistiquement significatif.

Pour ce dernier, notre meilleure estimation est qu'il aurait augmenté le nombre de sessions de 12%. , ce qui représente environ 7 000 sessions organiques mensuelles. Maintenant, de chaque côté ici, vous pouvez voir que j'ai écrit 2,5%. Cela fait en sorte que le total soit égal à 100. La raison en est que vous n'obtenez jamais un résultat 100% confiant. Il y a toujours la possibilité qu'il y ait un hasard et que vous avez un faux négatif ou positif. C'est pourquoi nous disons alors que nous sommes 97,5% à croire que cela était positif. C'est parce que nous avons 95 plus 2,5.

Tests sans signification statistique

Maintenant, chez Distilled, nous avons constaté qu'il existe de nombreuses circonstances dans lesquelles nous avons des tests qui ne sont pas statistiquement significatifs, mais il existe des preuves assez solides que ils ont eu un soulèvement. Si nous nous déplaçons ici, j'en ai un exemple. C’est donc un exemple de quelque chose qui n’était pas statistiquement significatif, mais nous avons constaté une forte hausse.

Vous pouvez maintenant voir que notre ligne verte a toujours une zone négative, ce qui signifie qu’il est toujours possible que, à un intervalle de confiance de 95%, il s'agissait d'un test négatif. Maintenant, si nous redescendons en bas, j'ai refait notre rose. Nous avons donc 5% des deux côtés, et nous pouvons dire ici que nous sommes à 95% confiants que le résultat a été positif. En effet, ces 5% sont toujours supérieurs également.

3. Analyser les données pour vérifier l'hypothèse

Nous essayons de mettre en œuvre des changements qui reposent sur une hypothèse forte et de tirer les bénéfices de ceux-ci au lieu de simplement les rejeter complètement. Une partie de la raison en est aussi que nous disons que nous faisons des affaires et non pas de la science.

Ici, j'ai créé un tableau indiquant le moment où nous déploierions un test qui n'était pas statistiquement significatif, et qui est basé sur quelle est la force de l'hypothèse et combien le changement est bon marché ou coûteux.

Hypothèse forte / changement bon marché

Maintenant, dans votre coin supérieur droit, lorsque nous avons une hypothèse forte et un changement bon marché, nous ' d probablement le déployer. Par exemple, nous avons récemment effectué un test comme celui-ci avec l'un de nos clients chez Distilled, où ils ont ajouté leur mot-clé principal au H1.

Ce résultat final ressemble à ce graphique. C'était une hypothèse forte. Ce changement n'était pas coûteux à mettre en œuvre et nous avons décidé de déployer ce test car nous étions assez confiants que ce serait toujours quelque chose de positif.

Hypothèse faible / changement bon marché

Maintenant, de l'autre côté, ici , si votre hypothèse est faible mais qu’elle reste peu coûteuse, alors peut-être que la preuve d’un relèvement est une raison suffisante pour la déployer. Vous devez communiquer avec votre client.

Hypothèse forte / changement coûteux

En ce qui concerne le changement coûteux avec une hypothèse forte, vous devrez peser le bénéfice que vous pourriez retirer de votre retour sur investissement. si vous calculez vos revenus escomptés en vous basant sur le pourcentage de variation obtenu

Hypothèse faible / modification bon marché

Lorsqu'il s'agit d'une hypothèse faible et d'un changement coûteux, nous ne souhaiterions le déployer que s'il est statistiquement significatif.

4. Tirer des conclusions

Maintenant, nous devons nous rappeler que lorsque nous faisons des tests d'hypothèses, nous essayons simplement de tester l'hypothèse nulle. Cela ne signifie pas qu'un résultat nul signifie qu'il n'y a aucun effet. Tout ce que cela signifie, c'est que nous ne pouvons ni accepter ni rejeter l'hypothèse. Nous disons que c'était trop aléatoire pour que nous puissions dire si cela est vrai ou non.

Un intervalle de confiance de 95% permet maintenant d'accepter ou de rejeter l'hypothèse, et nous affirmons que nos données ne sont pas du bruit. Lorsque la confiance est inférieure à 95%, comme celle-ci ici, nous ne pouvons pas prétendre avoir appris quelque chose comme nous le ferions avec un test scientifique, mais nous pourrions quand même affirmer que nous avons des preuves assez solides que cela produirait un effet positif. effet sur ces pages.

Les avantages du test

Maintenant, lorsque nous en parlons à nos clients, c'est parce que nous cherchons vraiment à donner un avantage compétitif sur d'autres personnes dans leurs secteurs. Le principal avantage des tests est d'éviter ces changements négatifs.

Nous voulons simplement nous assurer que les changements que nous apportons ne font pas vraiment chuter le trafic, et nous voyons que beaucoup. Chez Distilled, nous appelons cela une balle esquivée.

Voilà quelque chose que j'espère que vous pourrez intégrer à votre travail et que vous pourrez utiliser avec vos clients ou avec votre propre site web. Si tout va bien, vous pouvez commencer à formuler des hypothèses, et même si vous ne pouvez pas déployer quelque chose comme ODN, vous pouvez toujours utiliser vos données d'AG pour essayer d'avoir une meilleure idée si les changements que vous apportez aident ou nuisent à votre trafic. C'est tout ce que j'ai pour vous aujourd'hui. Merci.

Transcription vidéo de Speechpad.com