Pièges des tests A / B: comment les spécialistes du marketing peuvent éviter les erreurs coûteuses

Parce que cela vous permet de déterminer si votre public marketing préfère la version A de quelque chose ou la version B, Les tests A / B sont puissants. Et de plus en plus, c’est facile à faire. Parfois, cela semble si facile que nous ne réalisons même pas que nous avons perdu notre temps, perdu des occasions en or ou, pire encore, que nous arrivons mal aux mauvaises conclusions. La vérité est que les tests A / B ne sont puissants que si vous le faites correctement et évitez les nombreux pièges qui peuvent nuire à vos tests.

«En l'absence de processus clairement définis, les spécialistes du marketing courent le risque de tester des tests juste pour des tests, ce qui entraîne des différences de méthodologie, un manque d'objectif, des résultats ambigus et un gaspillage de ressources», explique Reed Pankratz, consultant stratégique principal pour Services stratégiques chez Oracle Marketing Cloud (OMC) Consulting.

Voici des conseils détaillés sur la meilleure manière d’accomplir tout cela et d’éviter les nombreux pièges des tests A / B:

Que faire du test A / B

Le premier ensemble des pièges tourne autour de ce que les commerçants décident de tester A / B. Voici notre conseil …

1. Concentrez-vous sur les éléments les plus percutants.

Vous ne pouvez pas tout tester. Par conséquent, concentrez vos efforts de test sur les éléments les plus susceptibles de générer une augmentation significative. Dans le marketing par courrier électronique, ces éléments sont les suivants:

• Lignes de sujet (ainsi que le texte de prévisualisation) avec les marques testant régulièrement les options court / long, ton, urgence, éléments d'offre, émoticônes, personnalisation et autres. Pour plus d'idées, consultez 6 façons dont l'écriture de ligne de sujet a changé .
• Titres et sous-titres marques vérifiant la longueur, le choix des mots, le style, la taille, la couleur et d'autres éléments.
• Call-to-action marques testant des boutons par rapport à des liens; Texte CTA; taille, forme, style et position du bouton; et autres éléments.
• Images de héros et autres images clés marques testant la taille, la position, la composition chromatique, les images mode de vie et produit, images professionnelles ou générées par l'utilisateur et autres éléments. 19659009]les marques testant l'heure du jour, le jour de la semaine, la semaine du mois, le délai d'envoi après envoi pour les courriels automatisés, et d'autres éléments pour tenter de répondre à la question séculaire, envoyer un email?

Par exemple, l'un de nos clients du secteur des services financiers basé à New York a testé l'heure et le jour de la semaine sur les communications relatives aux solutions de paiement entreprises, indique Sudha Bahumanyam, consultant principal en B2B chez OMC Consulting. «En dépit de la conjecture courante d'éviter les week-ends en envoyant des messages à des publics d'entreprise, ceux-ci étaient plus réactifs le dimanche soir qu'au milieu de la journée le mardi ou le mercredi», dit-elle. «Les résultats pour les taux d'ouverture ont été révélateurs et ont clairement démenti ce que nous avions résumé comme étant une donnée.»

2.

Les sujets sont de loin l’élément de courrier électronique le plus testé en A / B, en grande partie parce que les outils facilitent vraiment leur test et qu’il ne nécessite que quelques rédactions supplémentaires. Tester des images ou des arrangements de conception peut nécessiter beaucoup plus de travail à cause du travail de conception supplémentaire et de la configuration du test. Les e-mails automatisés de test A / B peuvent également être beaucoup plus compliqués, mais les retombées peuvent être bien plus importantes que de tester les e-mails de diffusion en raison des ROI beaucoup plus élevés générés par les e-mails automatisés.

juste pour les e-mails promotionnels uniques », explique Helen Lillard consultante principale en B2B chez OMC Consulting. «Configurez des programmes de parcours d’audience tels que des accueils, des nourritures et des réengagements avec des tests afin de pouvoir tester votre contenu, votre offre, la ligne de sujet et d’autres éléments plusieurs semaines à la fois et obtenir des résultats très solides.»

3. N'oubliez pas votre public cible lors des tests.

Parfois, vous essayez d'influencer votre auditoire global, mais vous voulez parfois uniquement affecter vos clients les plus précieux, vos abonnés inactifs ou vos clients californiens. exemple. D'après Autumn Coleman, responsable des technologies cloud pour Oracle Eloqua, assurez-vous de définir clairement votre segment cible afin de générer un retour sur investissement optimal.

«Par exemple, j'ai aidé un client à créer un test de marketing de contenu multicanal avec atterrissage pages, contenu vidéo et e-mails utilisant une stratégie de compte clé », dit-elle. «Ils ont développé des microsites de marque pour des comptes de premier niveau spécifiques, comprenant des études de cas et du contenu pertinent pour cette société. Les conversions de pages de destination génèrent des e-mails personnalisés pour le rôle de chaque contact au sein de leur entreprise et comprenant des messages vidéo personnalisés de leur gestionnaire de compte optimisé par Brightcove. Les pages de destination comprenaient des formulaires testés en longueur et en pré-population sur le terrain. Les e-mails ont été testés par sujet, par heure d'envoi et par appel à l'action. Et le contenu vidéo a été testé par la longueur, le message et l'appel à l'action. Les résultats ont été exceptionnels et ont généré des millions de dollars de revenus et un pipeline supplémentaire pour le client! ”

Établissez des objectifs clairs en matière de tests A / B

Les tests occasionnels occasionnels sont presque un moyen sûr de perdre votre temps. Il est peu probable que vous obteniez le type de résultats souhaité et vous risquez d’être égaré par des résultats trompeurs. Pour éviter ce sort, envisagez les mesures suivantes …

4. Comprenez si vous testez pour apprendre ou pour gagner.

Les deux ont leur place dans l’arsenal du marketing, mais ils ont des approches très différentes lors de la configuration et de l’analyse. Par exemple, lorsque vous testez pour apprendre, vous devez également tester des thèmes, des tactiques, des présentations et d'autres éléments que vous pouvez appliquer de manière générale aux campagnes futures. Des exemples de test pour apprendre incluent notamment de vérifier si votre auditoire réagit mieux aux images de mode de vie ou aux images de produits, ou s'il répond mieux aux offres à rabais ou à pourcentage, par exemple.

Toutefois, lorsque vous tentez de gagner, les résultats de la campagne ne s'appliquent généralement qu'à cette campagne et ne peuvent pas être appliqués à de futures campagnes, explique Wade Hobbs, consultant en stratégie principal pour les services stratégiques chez OMC Consulting.

"Ce type de test est idéal pour les grandes campagnes (Black Friday, lancements de produits et autres envois hautement prioritaires, par exemple), où une augmentation supplémentaire de 10 à 20% du taux d'ouverture ou de clics peut être importante", il dit. «L'avantage de ce type de test est que le marketing peut être créatif et essayer une variété de sujets, d'offres ou d'éléments de conception uniques pour donner à la campagne individuelle le meilleur résultat possible.»

5. Déterminez si vous essayez de trouver un nouveau maximum local ou un nouveau maximum global.

En plus de savoir si vous cherchez à apprendre ou à gagner, vous devez savoir si vous recherchez une amélioration incrémentielle ou un gain supplémentaire. changement de paradigme. C’est la différence entre la recherche d’un nouveau maximum local et d’un nouveau maximum global, respectivement.

Par exemple, le test de différentes couleurs pour votre bouton CTA vous aidera potentiellement à trouver un nouveau maximum local car vous modifiez légèrement votre approche. Cependant, tester un tout nouveau module de messagerie électronique pourrait vous aider à trouver un nouveau maximum global, car vous changez radicalement l'expérience. Le premier représente un scénario de faible risque-faible récompense, tandis que le second représente un scénario de risque élevé-élevé de récompense. Les deux ont leur place. Mais ne faites pas de petits changements et attendez-vous à des résultats radicalement supérieurs.

6. Ayez une hypothèse claire.

Si vous testez suffisamment de changements, vous risquez de tomber sur quelques changements à fort impact, mais vous obtiendrez beaucoup plus de succès si vous savez quel changement de comportement d'abonné vous espérez voir et pourquoi le changement que vous testez en mode A / B est susceptible de provoquer le comportement souhaité. Avoir une intention claire.

7. Soyez clair sur ce que signifie une victoire.

Si votre challenger l'emporte, quel changement ferez-vous dans vos courriels? Dans certains cas, cela signifiera un changement permanent, mais dans d'autres, cela signifiera simplement que vous utiliserez la tactique gagnante de temps en temps ou rarement, plutôt que jamais. Cependant, parfois, tout le monde n’est pas sur la même page, explique Nick Cantu, directeur artistique principal pour les services de création chez OMC Consulting.

« Par exemple, lors du test des lignes d'objet, lorsqu'un indicateur présente une signification statistique, certains voudront utiliser ce format pour tous les envois à venir», dit-il. «Si la personnalisation du prénom l'emporte, ils prévoient de l'utiliser dans tous les courriels, qui peuvent rapidement devenir surutilisés et obsolètes pour le public. Assurez-vous de bien utiliser vos apprentissages et que votre équipe comprenne ce plan. ”

8. Obtenez l’adhésion nécessaire pour apporter des modifications en fonction des résultats de vos tests A / B.

Etre clair sur ce que signifiera une victoire n’a essentiellement aucun sens si vous n’avez pas l’assentiment nécessaire pour donner suite à ces modifications. Selon le test, vous aurez peut-être besoin de l’assentiment des dirigeants, de votre responsable marketing par courrier électronique, de votre agent de marketing de marque ou d’autres personnes. «C’est une étape cruciale qui manque à certains de mes clients, déclare Jessica Stamer, consultante principale en B2B chez OMC Consulting.

« Par exemple, j’avais un client avec une stratégie de test A / B vigoureuse et chaque mois, je préparais une présentation pour partager les résultats », dit-elle. «Les commentaires n'ont jamais changé, car ils n'ont jamais été en mesure de prendre des mesures. Les tâches tactiques étaient simples: rendre les e-mails plus personnels, utiliser plus de texte et moins d'images, raccourcir les sujets, etc., mais ils n'ont pas pu aligner leurs employés et leurs processus internes sur la stratégie. »[19659004] Exécution d'un test A / B

Les pièges suivants en matière de tests sont liés à l'exécution de vos tests. Vous obtenez ainsi des résultats fiables et significatifs. C'est un autre moment décisif. Notre conseil est de …

9. Testez un élément à la fois

«Une erreur courante dans les tests A / B est que les spécialistes du marketing essaient de tout tester en même temps», explique Bahumanyam. «Les tests A / B testent une variable et fournissent des informations précises et exploitables.»

De nombreuses marques ne disposent tout simplement pas d'un volume suffisant pour tester plus de deux variables et générer des résultats statistiquement significatifs (dont nous parlerons plus loin plus tard). . Cela dit, si votre marque compte des millions d’abonnés, vous êtes probablement un bon candidat pour les tests à plusieurs variables (supporté par Oracle Responsys ), ce qui vous permet de tester plusieurs variables à la fois. Bahumanyam, veille à bien comprendre les exigences en matière de données.

«Si vous testez quatre variables, par exemple, vous obtiendrez 4 combinaisons factorielles (1x2x3x4), ou 24,» dit-elle. "Il est essentiel de porter son chapeau de statisticien."

Mais si vous avez assez de volume, les tests à plusieurs variables vous permettent d’obtenir des résultats beaucoup plus rapidement, en particulier lorsque vous testez différentes combinaisons, explique Lillard. "Par exemple, est important que votre texte d'aperçu fonctionne bien avec votre ligne de sujet. est important", dit-elle. «Le test multivarié est un moyen facile d'intégrer les deux éléments dans un test afin de trouver la combinaison la plus efficace.»

10. Utilisez des segments d'audience de test pour des abonnés similaires.

Pour assurer une comparaison équitable des performances des versions A et B. Vous souhaiterez que les groupes de test recevant chaque version soient composés du même type d'abonnés, qu'il s'agisse de nouveaux abonnés. , abonnés qui sont des clients ou des abonnés d’une région géographique donnée, par exemple.

Ce que vous testez aura une influence sur les caractéristiques démographiques et autres caractéristiques que vous contrôlez. En fait, votre segment d’audience peut être au centre de ce que vous testez, déclare Coleman. «Les spécialistes du marketing commencent souvent à tester des tactiques de contenu de courrier électronique telles que les écarts de sujet et d'incitation à l'action», explique-t-elle. «Je recommande de commencer le test en analysant d’abord un segment ou un public cible. Lors de la création de votre segment marketing, incluez des données de comportement et de profilage afin de générer un rendement supérieur pour le test. "

Un mot rapide sur l'exécution de tests sur de nouveaux abonnés: Si vous testez une nouvelle présentation de courrier électronique ou un nouveau format de lettre d'information, vos abonnés existants avoir le bagage émotionnel d'avoir expérimenté votre design précédent. Cela faussera généralement vos résultats car certains de ces abonnés refusent les modifications parce qu'ils "ne s'y sont pas habitués". Vos nouveaux abonnés ne disposent pas d'un tel bagage, ce qui en fait le groupe idéal pour tester de tels changements.

11 . Utilisez des segments d’audience de test des abonnés actifs.

Sauf si vous testez le réengagement, la réautorisation ou d’autres campagnes qui ciblent explicitement les abonnés inactifs, vous souhaiterez vous assurer que vos groupes de test A / B sont composés d’abonnés actifs. Sinon, si la version A s'adresse à un groupe d'abonnés beaucoup plus actifs que le groupe ayant obtenu la version B, la version A «gagnera» probablement pour des raisons qui n'ont rien à voir avec ce que vous testez.

12 . Utilisez un public suffisamment large pour atteindre une signification statistique.

Assurez-vous que vos groupes de tests sont suffisamment grands pour que les résultats de vos tests soient statistiquement significatifs. Le plus souvent, les spécialistes du marketing s’efforcent d’atteindre une signification statistique de 95%, ce qui signifie qu’il n’ya que 5% de chance que le résultat de votre test A / B soit le résultat d’un pur hasard. Évidemment, vous voulez savoir que le vainqueur de votre test a gagné parce qu'il était meilleur, pas seulement chanceux, il est donc crucial d'atteindre ce seuil.

Votre capacité à atteindre ce seuil déterminera si vous êtes capable de réaliser un 10 / Partage 10/80 ou 25/25/50 – où vous envoyez la version A à un petit pourcentage de votre liste, la version B à un pourcentage égal et le gagnant à la partie restante – ou un partage 50/50, où la moitié obtient A et la moitié obtient B et vous utilisez les leçons apprises lors de campagnes futures.

Si vous travaillez avec des agences ou d'autres tiers, vous voudrez certainement vous assurer que tout le monde est au courant des critères requis pour que vos tests ne le soient pas. invalidée, déclare Lizette Resendez, directrice de création associée et directrice de la copie des services de création chez OMC Consulting.

«Par exemple, nous avions un client des services créatifs pour lequel nous avions conçu plusieurs éléments créatifs afin qu'ils puissent les tester – mais nous apprenions après le déploiement que l'agence du client et ESP n'avaient pas envoyé le test à un public suffisamment large. lire clairement », dit-elle. «Si vous ne disposez pas des personnes, de la technologie et de la stratégie voulues, vous perdez du temps et de l'argent.»

Envisagez d'utiliser des calculateurs de taille de test A / B, tels que AB Testguide [19659011] pour vous assurer que vous atteignez une signification statistique. La fonctionnalité de test qui est native de votre plate-forme de marketing numérique est également susceptible de disposer d’un calculateur de signification statistique.

13. Utilisez des groupes de secours, le cas échéant.

Parfois, il est préférable de ne pas envoyer d'e-mail que d'envoyer un e-mail. La seule façon de savoir si tel est le cas consiste à utiliser un groupe de réserve, qui est un groupe d’abonnés auxquels vous n’envoyez pas de courrier électronique. Pour éviter de les irriter, vous devez alterner les abonnés qui font partie du groupe de blocage.

Les groupes de blocage sont particulièrement utiles pour tester les courriels automatisés. L'ajout de ce troisième e-mail à votre série de bienvenue déplace-t-il l'aiguille? Ce deuxième courrier électronique de nouvelle autorisation aide-t-il à fidéliser plus d'abonnés ou nuit-il simplement à votre délivrabilité? Ce deuxième courrier électronique d'abandon de navigation augmente-t-il les conversions ou est-il simplement agaçant pour les abonnés? Avoir un groupe d'externes vous aide à tester ces scénarios.

Détermination du gagnant d'un test A / B

Malheureusement, trop de spécialistes du marketing perdent leur intérêt. Jusqu'ici, ils ont tout fait comme il faut: avoir choisi les bonnes choses à tester, défini des objectifs clairs et correctement exécuté le test. Ensuite, ils obtiennent les résultats et les interprètent mal. Voici notre conseil pour éviter ce piège …

14. Choisissez une mesure de victoire alignée sur l'objectif de votre courrier électronique.

Commençons par dire que, sauf si vous menez une campagne de réengagement dans le but de générer un signe de vie, la mesure de votre victoire pour un test de courrier électronique sera autre que le taux d’ouverture. C’est vrai, même si A / B teste une ligne de sujet, car l’objectif de votre courrier électronique n’est jamais d’être simplement ouvert. C’est pour obtenir des clics ou, encore plus souvent, pour obtenir des conversions et des ventes. Et votre ligne d’objet joue un rôle essentiel dans le choix du lecteur qui lit le corps de votre courrier électronique et même de celui qui clique sur vos pages de destination.

Dans un monde idéal, la plupart des tests de courrier électronique utiliseraient probablement les conversions ou les ventes comme indicateurs de victoire. Toutefois, le nombre d’abonnés qui parviendront au bas de votre entonnoir de conversion est relativement faible, ce qui rendra difficile l’atteinte de l’importance statistique si vous n’avez pas une liste très longue et des conversions saines. De nombreuses marques utilisant des programmes de messagerie plus petits voudront faire des compromis et utiliser les clics comme métrique de la victoire.

Mais, encore une fois, il est peu judicieux de continuer à faire des compromis et d’utiliser Open, principalement parce que les ouvertures n’ont pas une forte corrélation avec les conversions. . Comme je le dis dans notre article sur Utiliser les outils de ligne de sujet et de rédaction publicitaire avec succès «Être rapidement certain de l'influence d'un incertain L’indicateur n’est pas le moyen de devenir un distributeur axé sur les données. ”

15. N’ignorez pas les indicateurs de performance négatifs.

En plus de vous concentrer sur les indicateurs de réussite plus loin dans l’entonnoir, gardez un œil sur les indicateurs de performance négatifs tels que les désabonnements et le taux de plaintes de spam. Turny Hummel, analyste stratégique principal pour les services stratégiques chez OMC Consulting, explique Tommy Hummel, analyste stratégique majeur. Plus de ressources réduisent l'efficacité de vos futures campagnes par e-mail. Par conséquent, même un e-mail performant en termes de conversions peut ne pas être judicieux. ] «Lors de la révision des résultats de test, explique-t-il, si une version« gagne »selon l’indicateur de performance clé principal, mais perd un indicateur de performance clé plus loin dans l’entonnoir, il peut être utile de reconsidérer les résultats du test et de décider lequel importe le plus. Résoudre pour l'entonnoir complet. ”

16. Ne rejetez pas les tests non concluants.

Parfois, même si vous configurez votre test correctement, vous pouvez obtenir des résultats peu concluants. Hummel ne doit pas simplement les ignorer et passer à autre chose.

« Souvent, un résultat peu concluant est en soi une conclusion», dit-il. «Ce que cela pourrait signifier, c’est que les éléments considérés par les spécialistes du marketing importent beaucoup à leurs clients ou à leurs prospects. Par exemple, des clients ont testé différents langages d'appel à l'action qui ont abouti à des taux de clic et de conversion similaires. Certains ont peut-être considéré ces tests échoués, mais ils ont en réalité indiqué clairement que la langue utilisée n’était pas assez différente ou que les différences testées n’avaient aucune importance pour les destinataires. Cela peut éclairer les stratégies de rédaction futures et orienter l'équipe vers des tests plus utiles. ”

17. Vérifiez le vainqueur du test.

Dans le monde du marketing par courrier électronique, la victoire n’est pas éternelle. Les gagnants doivent être testés périodiquement pour s’assurer qu’ils sont toujours gagnants. Cela tient à plusieurs facteurs: premièrement, l’effet de nouveauté peut donner un coup de pouce à court terme à de nouveaux changements, les abonnés réagissant uniquement à la nouveauté du changement. Ensuite, le coup de pouce disparaît, ce qui peut faire de ce qui semblait être un gagnant un perdant à long terme.

Deuxièmement, les attentes des abonnés évoluent lentement dans le temps. Les expériences de messagerie exceptionnelles créées par certaines marques incitent constamment les utilisateurs de messagerie à en attendre davantage.

Troisièmement, l'audience de votre messagerie évolue constamment. Avec environ un tiers des abonnés d’une marque qui se désabonnent ou deviennent inactifs chaque année, la majorité de votre audience de messagerie active peut se transformer en seulement deux ou trois ans. Antipa ajoute que ces nouveaux abonnés apportent de nouvelles préférences qu’il faut découvrir en testant périodiquement des concepts similaires.

«Votre base de données évoluant au fil du temps, les tests A / B doivent faire partie d’un processus continu comportant plusieurs cycles pour vraiment apprendre. sur ce qui fonctionne et comment optimiser la conversion », dit-elle. «Engagez-vous à effectuer des tests en continu.»

Documentez vos tests A / B

Le dernier ensemble d’embûches concerne la documentation, ce qui vous permet d’éviter beaucoup d’autres embûches dont nous avons discuté si vous le faites correctement. Nous avons ici deux conseils …

18. Enregistrez vos résultats de test A / B.

Nous espérons vous convaincre maintenant que le test A / B est puissant mais plein de détails et dépend de l’itération pour approfondir vos connaissances et confirmer les vainqueurs. En raison de tous les détails, nous vous recommandons vivement de conserver un journal de tous vos efforts de test, en notant vos réponses aux questions suivantes:

• Que teste-t-on? Et quelle est votre hypothèse sur le résultat du test?

• Quel est le but du test? Quelle est votre mesure de réussite?

• Quel est le contrôle (version A) et quel est le challenger (version B)?

• Dans quel courrier électronique exécutez-vous le test? Quelle est sa date d'envoi? Si le courrier électronique est automatisé, quand débutez-vous la période de test?

• Le test a-t-il atteint une signification statistique de 95%?

• Quels ont été les résultats du test pour la version A et la version B, en regardant à la fois votre succès? métrique et autres métriques pertinentes comme les désabonnements et les plaintes de spam?

• Quelle version a gagné? Qu'est-ce que cette victoire signifie?

«Notez toutes vos découvertes tout au long de l’année», déclare Bahumanyam, «et vous aurez un fichier de résultats qu’il sera bon de partager avec les aînés. gestion et d’ajouter à votre portefeuille. ”

19. Créez un calendrier de tests A / B.

Alors que votre journal de résultats de tests A / B vous aide à garder une trace des tests précédents et de vos apprentissages, un calendrier de tests A / B vous aide à planifier vos futurs tests et tests. Compte tenu de tous ses éléments, les tests nécessitent une planification en raison de la nécessité d'actifs supplémentaires, d'un temps d'installation supplémentaire et d'une coordination accrue entre les équipes.

"Nous créons une feuille de route de tests et d'optimisation pouvant être partagée pour nous assurer que tous nos lecteurs, des concepteurs rédacteurs aux concepteurs, en passant par les codeurs et le client – sont tous sur la même page pour chaque test," a déclaré Resendez.

Si elle ne fait pas partie de la planification de votre campagne, explique-t-elle, vous découvrirez peut-être à la dernière minute que votre test n'est pas prêt – et que personne ne retarde une campagne pour un test. Cela signifie simplement que le test ne se produit pas, ce qui signifie une occasion manquée d'apprendre et une possibilité manquée d'obtenir de meilleurs rendements.

Oui, il ne faut pas oublier qu'il reste de nombreux problèmes, mais certains de ces pièges ne vous tracasserez pas maintenant que vous en avez entendu parler et bon nombre des problèmes restants peuvent être gardés en tête en tenant un journal des résultats des tests et en maintenant un calendrier des tests. Avec un bon processus en place et les problèmes fondamentaux à résoudre, vous pouvez tester en toute confiance en sachant que vous maximisez vos chances de changer l'aiguille en performance et que vous pouvez faire confiance à vos résultats.

—————

Oracle Marketing Cloud Consulting compte plus de 500 experts marketing prêts à vous aider à atteindre vos objectifs avec le nuage marketing de pointe, y compris des experts en tests A / B, que vous optimisiez votre création, croissance de la liste, ou autres aspects de votre programme de marketing numérique.

En savoir plus ou contactez-nous au .com .

Découvrez comment Oracle Marketing Cloud peut vous aider dans vos tests A / B et votre personnalisation ici .