Application : Comment exécuter un test multivarié (calculateur de taille d’échantillon MVT)

Deux méthodologies de test d’optimisation du marketing numérique et de l’expérience utilisateur sont Tests A/B et tests multivariés (MVT). Les deux approches visent à améliorer les performances des sites Web, mais diffèrent par leur complexité et leur portée. Cet article définira chaque méthode, comparera ses forces et ses faiblesses et guidera la mise en œuvre des tests multivariés.

Si vous cherchez comment exécuter un test A/B, nous avons publié cet article ainsi que les calculateurs nécessaires.

Comment exécuter un test A/B

Scénario réel : MVT surpasse les tests A/B

Considérons un B2B éditeur de logiciels qui propose un outil de gestion de projet. L’entreprise souhaite optimiser sa page de demande de démo pour augmenter le nombre d’inscriptions à la démo. Ils décident de tester les éléments suivants :

1. Titre
2. Image
3. Appel à l’action (Appel à l’action) Bouton

Approche des tests A/B

L’entreprise effectue d’abord des tests A/B distincts pour chaque élément :

Sur la base de ces tests A/B, l’entreprise mettrait en œuvre les versions gagnantes : le «Augmentez la productivité des équipes de 30 %», le titre, la capture d’écran du tableau de bord du logiciel et le bouton CTA « Demander une démo ». L’effet combiné pourrait entraîner une augmentation de 10 % des inscriptions aux démos.

Approche de test multivariée

Voyons maintenant comment un test multivarié peut donner des résultats différents. L’entreprise met en place un MVT avec les variantes suivantes :

Cela crée huit combinaisons possibles (2 x 2 x 2). Après avoir effectué le test, voici les résultats :

Analyse

Le MVT révèle que la combinaison de Augmentez la productivité des équipes de 30 % (H2), l’image d’un équipe commerciale (I2), et Commencer l’essai gratuit (C2) produit les meilleurs résultats, avec un Augmentation de 18 % dans les inscriptions à la démo. Ce résultat diffère de ce que suggèrent les tests A/B de deux manières principales :

• L’image de l’équipe commerciale est plus performante en combinaison avec le titre axé sur la productivité, malgré la défaite au test A/B individuel. Cela suggère un effet d’interaction entre le titre et l’image qui n’a pas été capturé dans les tests A/B.
• Le Commencer l’essai gratuit Le CTA fonctionne mieux dans cette combinaison, même s’il a perdu lors du test A/B individuel.

L’amélioration globale (18 %) est nettement supérieure à ce que l’on aurait pu attendre de la simple combinaison des éléments gagnants des tests A/B (environ 10 %).

Explication

La synergie entre les éléments de la combinaison gagnante peut s’expliquer comme suit :

• Le Augmentez la productivité des équipes de 30 % Le titre constitue une promesse forte et quantifiable qui séduit les décideurs commerciaux.
• L’image d’une équipe commerciale renforce l’idée d’une productivité et d’un travail d’équipe améliorés, rendant la promesse plus tangible et plus pertinente.
• Le Commencer l’essai gratuit Le CTA abaisse la barrière à l’entrée par rapport au Demander une démopermettant aux clients potentiels de constater par eux-mêmes l’augmentation de la productivité sans planifier une démonstration.

Cette combinaison raconte efficacement une histoire cohérente : voici une amélioration significative de la productivité (titre) que vous pouvez voir bénéficier à votre équipe (image), et vous pouvez commencer à en faire l’expérience immédiatement sans aucun engagement (CTA).

Ce scénario montre comment les tests multivariés peuvent découvrir de puissantes combinaisons d’éléments qui pourraient manquer avec les tests A/B seuls. En testant ces éléments ensemble, l’entreprise a découvert un effet synergique qui a produit de meilleurs résultats que l’optimisation de chaque élément individuellement. Cela souligne la valeur de MVT pour identifier comment les différents éléments de la page fonctionnent ensemble pour influencer le comportement des utilisateurs et générer des conversions dans un contexte B2B.

Complexité des tests multivariés

Les tests multivariés sont intrinsèquement plus complexes que les tests A/B pour plusieurs raisons :

• Plusieurs variables: MVT teste plusieurs changements simultanément, ce qui augmente de façon exponentielle le nombre de combinaisons possibles.
• Taille d’échantillon plus grande: En raison du nombre accru de variations, MVT nécessite une taille d’échantillon plus grande pour atteindre une signification statistique.
• Durée plus longue: les tests MVT durent généralement plus longtemps que les tests A/B en raison de l’exigence de taille d’échantillon plus importante.
• Analyse plus complexe: L’interprétation des résultats MVT peut s’avérer difficile, car vous devez comprendre comment les différents éléments interagissent les uns avec les autres.
• À forte intensité de ressources: La création et la gestion de plusieurs variantes nécessitent plus de temps, d’efforts et des outils souvent spécialisés.

Avantages des tests multivariés

Malgré leur complexité, les tests multivariés offrent plusieurs avantages significatifs :

• Optimisation holistique: MVT vous permet d’optimiser plusieurs éléments de page simultanément, offrant une vue plus complète de ce qui détermine les performances.
• Effets d’interaction: L’un des principaux avantages de MVT est sa capacité à révéler comment différents éléments fonctionnent ensemble. Cela peut révéler des synergies entre des éléments qui pourraient ne pas être apparentes dans des tests A/B isolés.
• Tests efficaces: Bien que les tests MVT individuels puissent prendre plus de temps, ils peuvent potentiellement remplacer plusieurs tests A/B séquentiels, ce qui permet de gagner du temps à long terme.
• Des perspectives nuancées: MVT peut fournir des informations plus détaillées sur les préférences et les comportements des utilisateurs, vous aidant ainsi à affiner vos stratégies de conception et de contenu.

Processus de test multivarié

Voici un processus étape par étape pour effectuer un test multivarié :

1. Identifier les variables: Déterminez les éléments de votre page que vous souhaitez tester. Les éléments communs incluent les titres, les images, les appels à l’action et la mise en page.
2. Créer des variantes: Pour chaque élément, créez des versions alternatives. N’oubliez pas que le nombre total de combinaisons sera le produit du nombre de variations de chaque élément.
3. Configurer le test: utilisez un outil de test multivarié pour configurer votre test. Cela implique de créer les différentes combinaisons et de définir des règles de répartition du trafic.
4. Déterminer la taille de l’échantillon: Calculez la taille d’échantillon requise pour obtenir une signification statistique. Cela dépendra du nombre de variantes et du niveau de confiance souhaité.

Calendrier de la taille des échantillons de tests multivariés

Cliquez pour ouvrir l’outil (non traduit)

5. Exécutez le test: lancez votre test et laissez-le s’exécuter jusqu’à ce qu’il atteigne la taille d’échantillon requise ou une limite de temps prédéterminée.
6. Analyser les résultats: Utilisez votre outil de test pour analyser les performances de différentes combinaisons. Recherchez à la fois des combinaisons gagnantes et des informations sur les interactions entre les éléments.
7. Implémenter et itérer: Appliquez la combinaison gagnante à votre page en direct et utilisez les informations obtenues pour éclairer les futurs tests.

Plusieurs outils peuvent faciliter les tests multivariés :

• Adobe Cible: Faisant partie d’Adobe Experience Cloud, il fournit des fonctionnalités de test et de personnalisation robustes.
• De manière optimale: Une plateforme d’expérimentation complète qui prend en charge les tests multivariés avancés.
• Rebondir: Bien qu’il soit principalement connu pour ses pages de destination, Unbounce propose également des fonctionnalités de tests multivariés.
• VWO (Optimiseur visuel de site Web): Offre une interface conviviale pour configurer et analyser des tests multivariés.

Alors que les tests A/B sont plus simples et plus rapides à mettre en œuvre, les tests multivariés offrent une approche d’optimisation plus complète. En comprenant les points forts et les limites de chaque méthode, vous pouvez choisir la stratégie de test adaptée à vos besoins et ressources spécifiques.