Optimizely Intelligence Cloud : comment utiliser le moteur de statistiques pour effectuer des tests A/B plus intelligemment et plus rapidement

Si vous cherchez à exécuter un programme d'expérimentation pour aider votre entreprise à tester et à apprendre, il y a de fortes chances que vous utilisiez Optimizely Intelligence Cloud – ou que vous l'ayez au moins examiné. Optimizely est l'un des outils les plus puissants du jeu, mais comme tout outil de ce type, vous pourriez l'utiliser mal si vous ne comprenez pas comment il fonctionne.

Qu'est-ce qui rend Optimizely si puissant ? Au cœur de son ensemble de fonctionnalités se trouve le moteur de statistiques le plus informé et le plus intuitif dans un outil tiers, vous permettant de vous concentrer davantage sur la mise en ligne de tests importants – sans avoir à vous soucier d'une mauvaise interprétation de vos résultats.

Tout comme une étude traditionnelle à l'aveugle en médecine, les tests A/B afficheront au hasard différents traitements de votre site à différents utilisateurs pour ensuite comparer l'efficacité de chaque traitement.

Les statistiques nous aident ensuite à faire des déductions sur l'efficacité de ce traitement à long terme.

La plupart des outils de test A/B reposent sur l'un des deux types d'inférence statistique : les statistiques fréquentistes ou bayésiennes. Chaque école a divers avantages et inconvénients – les statistiques fréquentistes nécessitent qu'une taille d'échantillon soit fixée avant de mener une expérience, et les statistiques bayésiennes se soucient principalement de prendre de bonnes décisions directionnelles plutôt que de spécifier un seul chiffre pour l'impact, pour ne citer que deux exemples. La superpuissance d'Optimizely est que c'est le seul outil sur le marché aujourd'hui à adopter une approche le meilleur des deux mondes.

Le résultat final ? Optimizely permet aux utilisateurs d'exécuter des expériences plus rapidement, de manière plus fiable et plus intuitive.

Afin de tirer pleinement parti de cela, cependant, il est important de comprendre ce qui se passe dans les coulisses. Voici 5 idées et stratégies qui vous permettront d'utiliser les capacités d'Optimizely comme un pro.

Stratégie 1 : Comprendre que toutes les métriques ne sont pas égales

Dans la plupart des outils de test, un problème souvent négligé est que le plus vous ajoutez et suivez de métriques dans le cadre de votre test, plus vous avez de chances de voir des conclusions incorrectes en raison du hasard (dans les statistiques, cela s'appelle le "problème de test multiple"). Afin de garantir la fiabilité de ses résultats, Optimizely utilise une série de contrôles et de corrections pour réduire au maximum les chances que cela se produise.

Ces contrôles et corrections ont deux implications lorsque vous configurez des tests dans Optimizely. Premièrement, la métrique que vous désignez comme votre Métrique principale atteindra la signification statistique le plus rapidement, toutes autres choses étant constantes. Deuxièmement, plus vous ajoutez de métriques à un test, plus vos métriques ultérieures mettront de temps à atteindre une signification statistique.

Lors de la planification d'un test, assurez-vous de savoir quelle métrique sera votre nord géographique dans votre processus de prise de décision, faites-en votre métrique principale. Ensuite, gardez le reste de votre liste de métriques maigre en supprimant tout ce qui est trop superflu ou tangentiel.

Stratégie n°2 : Créez vos propres attributs personnalisés

Optimizely est excellent pour vous offrir plusieurs façons intéressantes et utiles de segmenter les résultats de votre expérience. Par exemple, vous pouvez examiner si certains traitements fonctionnent mieux sur ordinateur de bureau que sur mobile, ou observer des différences entre les sources de trafic. Cependant, au fur et à mesure que votre programme d'expérimentation mûrira, vous souhaiterez rapidement de nouveaux segments – ceux-ci peuvent être spécifiques à votre cas d'utilisation, comme des segments pour les achats ponctuels ou par abonnement, ou aussi généraux que « nouveaux visiteurs par rapport aux visiteurs connus » (qui, franchement, nous ne pouvons toujours pas comprendre pourquoi cela n'est pas fourni par défaut).

La bonne nouvelle est que via le champ Project Javascript d'Optimizely, les ingénieurs familiarisés avec Optimizely peuvent créer un certain nombre d'attributs personnalisés intéressants que les visiteurs peuvent être attribué et segmenté par. Chez Cro Metrics, nous avons construit un certain nombre de modules de stock (comme « nouveaux visiteurs par rapport aux visiteurs connus ») que nous installons pour tous nos clients via leur projet Javascript. Tirer parti de cette capacité est un facteur clé de différenciation entre les équipes matures qui disposent des ressources techniques appropriées pour les aider à exécuter, et les équipes qui luttent pour réaliser le plein potentiel de l'expérimentation.

Stratégie n°3 : Explorez l'accélérateur de statistiques d'Optimizely

Une fonctionnalité d'outil de test souvent surévaluée est la possibilité d'utiliser des « bandits à plusieurs bras », un type d'algorithme d'apprentissage automatique qui modifie dynamiquement l'endroit où votre trafic est alloué au cours d'une expérience, pour envoyer autant de visiteurs vers le « gagnant » variantes possibles. Le problème avec les bandits à plusieurs bras est que leurs résultats ne sont pas des indicateurs fiables de performances à long terme, de sorte que le cas d'utilisation de ces types d'expériences est limité aux cas urgents comme les promotions des ventes.

Optimize, cependant, a un autre type d'algorithme de bandit disponible pour les utilisateurs sur des plans supérieurs – Stats Accelerator (maintenant connu sous le nom d'option "Accélérer les apprentissages" dans Bandits). Dans cette configuration, au lieu d'essayer d'allouer dynamiquement le trafic à la variation la plus performante, Optimizely alloue dynamiquement le trafic aux variations les plus susceptibles d'atteindre la signification statistique le plus rapidement. De cette façon, vous pouvez apprendre plus rapidement et conserver la réplicabilité des résultats des tests A/B traditionnels.

Stratégie n°4 : ajouter des émojis à vos noms de métriques

À première vue, cette idée semble probablement déplacée, voire insensée. . Cependant, un aspect clé pour s'assurer que vous lisez les bons résultats d'expérience commence par vous assurer que votre public peut comprendre la question.

Parfois, malgré tous nos efforts, les noms de métriques peuvent prêter à confusion (attendez : cette métrique se déclenche-t-elle lorsque la commande est acceptée ou lorsque l'utilisateur accède à la page de remerciement ?), le bas de la page de résultats entraîne une surcharge cognitive totale.

L'ajout d'émojis aux noms de vos métriques (cibles, coches vertes, même le gros sac d'argent pourrait fonctionner) peut entraîner des pages beaucoup plus numérisables.

Faites-nous confiance – la lecture des résultats sera beaucoup plus facile.

Stratégie n°5 : Reconsidérez votre niveau de signification statistique

Les résultats sont jugés concluants dans le contexte d'une expérience Optimizely lorsqu'ils ont atteint signification statistique. La signification statistique est un terme mathématique difficile, mais il s'agit essentiellement de la probabilité que vos observations soient le résultat d'une réelle différence entre deux populations, et pas seulement du hasard.

Les niveaux de signification statistique rapportés par Optimizely sont « toujours valides » grâce à un concept mathématique appelé tests séquentiels – cela les rend en fait beaucoup plus fiables que ceux d'autres outils de test, qui sont sujets à toutes sortes de « jeter un coup d'œil » aux problèmes si vous les lisez trop tôt.

Il vaut la peine de considérer le niveau de signification statistique que vous jugez important pour votre programme de test. Alors que 95% est la convention dans la communauté scientifique, nous testons les modifications du site Web, pas les vaccins. Autre choix courant dans le monde expérimental : 90 %. Mais êtes-vous prêt à accepter un peu plus d'incertitude afin de mener des expériences plus rapidement et de tester plus d'idées ? Pourriez-vous utiliser une signification statistique de 85 % ou même de 80 % ? Être intentionnel au sujet de votre équilibre risque-rendement peut rapporter des dividendes exponentiels au fil du temps, alors réfléchissez bien. tout en utilisant Optimizely. Comme pour tout outil, il s'agit de s'assurer que vous avez une bonne compréhension de toutes les personnalisations en coulisses, afin que vous puissiez vous assurer que vous utilisez l'outil de manière efficace et efficiente. Avec ces connaissances, vous pouvez obtenir les résultats fiables que vous recherchez, quand vous en avez besoin.