Les 5 éléments clés d’une expérience réussie

La formulation d’un problème est souvent plus essentielle que sa solution, qui peut être simplement une question de compétence mathématique ou expérimentale – Albert Einstein

Expérimentation est un outil puissant permettant aux entreprises d’innover et de tester de nouvelles idées, mais peu semblent utiliser cet outil correctement. Des configurations erronées entraînent des échecs d’expériences et une perte de temps, ce qui pousse les entreprises à renoncer à l’expérimentation et aux idées innovantes.

Comprendre comment mener correctement des expériences vous aidera, vous et votre entreprise, à mettre votre idées innovantes pour utiliser et générer plus de valeur pour votre entreprise. Cet article fait partie d’une série en trois parties où je discute en détail de l’expérimentation. Celui-ci se concentre spécifiquement sur les choses à faire et à ne pas faire. Voici les cinq éléments clés d’une expérience réussie :

Lié: Comment l’expérimentation de mon idée à l’université m’a aidé en tant qu’entrepreneur

1. Évaluation des risques

Parfois, une expérience peut affecter négativement les « participants » et entraîner un désabonnement. Il est préférable de planifier les conséquences potentielles d’une expérience sur les utilisateurs et leurs plans d’atténuation dans le cadre de la conception de votre expérience. L’analyse de ces risques permet d’éviter les effets contraires sur les utilisateurs et l’entreprise.

2. Indicateur de réussite

Souvent, il y a plusieurs métriques qui sont essentiels pour les entreprises à suivre, et il est facile de se perdre entre ces mesures au fur et à mesure que l’expérience est en cours. Il est crucial d’identifier la métrique la plus critique la mieux adaptée à l’entreprise avant de lancer l’expérience, afin que les expériences ne vous laissent pas traîner avec des résultats non concluants.

Si vous disposez de plusieurs mesures de réussite, il est préférable d’identifier les mesures les plus importantes qui sont indépendantes les unes des autres. Vous devez également définir clairement les possibilités de résultats et leurs interprétations possibles, car les métriques peuvent aller dans différentes directions dans le cadre de l’expérience.

3. Calcul de la taille de l’échantillon

Chaque étude aura une taille d’échantillon idéale en fonction des exigences, et il faut calculer soigneusement la plage de taille d’échantillon pour chaque expérience. Bien qu’il convienne de réduire au minimum la taille de l’échantillon afin de réduire la risque d’échec d’une expériencela taille de l’échantillon doit être suffisamment grande pour minimiser l’erreur.

Lié: Comment j’ai construit une entreprise selon la méthode Lean – en utilisant la méthode scientifique

4. Cohortes mutuellement exclusives

Les équipes des startups évoluent rapidement et essaient d’apprendre par des expériences en lançant de nombreuses expériences simultanément. Alors que les expériences parallèles sont excellentes pour amélioration des fonctionnalités du produit sur tous les fronts, il est essentiel d’avoir des populations d’échantillons distinctes (c’est-à-dire des populations de contrôle et de test distinctes pour différentes expériences). Avec la même cohorte d’utilisateurs exposés à diverses expériences, il peut y avoir des impacts variables et contradictoires sur les mesures de réussite, conduisant à des résultats imprévisibles. Par conséquent, il est crucial de s’assurer que les cohortes choisies pour toutes les expériences s’excluent mutuellement.

5. Quantification de l’impact

Bien que négligé, quantifier l’impact de la métrique de succès sur l’entreprise (généralement revenu ou profit) aide à comprendre l’importance d’une expérience. Une estimation du chiffre d’affaires ou du bénéfice que l’entreprise est susceptible de réaliser à chaque augmentation ou diminution de la mesure de réussite des expériences vous aidera à comparer les expériences. L’expérimentation peut être coûteuse, donc en quantifiant l’impact de chaque expérience, vous pouvez hiérarchiser les expériences et comprendre s’il est raisonnable d’en mener une.

4 raisons courantes pour lesquelles les expériences échouent

Plusieurs considérations sont nécessaires pour tirer des résultats concluants des expériences. L’équipe a souvent plusieurs hypothèses innovantes mais peine à comprendre les enjeux des expériences randomisées dans ce domaine. paysage commercial hyperconcurrentiel. Bien que les défis qui sabotent les résultats des expérimentations puissent être innombrables, concentrons-nous sur les quatre raisons les plus courantes :

1. Hypothèse faible : Parfois, l’équipe a tendance à se baser sur une hypothèse incomplètement définie, prévoyant d’apporter des modifications et de prendre des décisions en cours de route au fur et à mesure qu’elle obtient des résultats directionnels avec une expérience initiale. Cette stratégie pourrait aboutir à de multiples expériences inefficaces avec des décisions commerciales défavorables. Cela pourrait potentiellement gaspiller des heures de développement et de conception importantes, ce qui rendrait difficile le suivi de recommandations de changement exploitables.

2. Mesures de réussite peu claires : N’expérimentez pas sans une mesure de réussite clairement définie. Vous devez identifier la métrique la plus importante que vous souhaitez influencer avec le changement de fonctionnalité. Idéalement, une expérience devrait avoir un maximum de deux métriques de réussite, et il faut concevoir l’expérience en tenant compte des deux. On pouvait souvent se perdre dans les différents indices sans une métrique de réussite claire. Les gens pensent souvent – « C’est un test complexe. Certaines choses vont augmenter et d’autres vont baisser. Comment puis-je le tester? » Une façon de gérer cela consiste à créer une métrique combinée que vous savez que vous souhaitez influencer. Un autre problème courant est que la mesure du succès est une mesure à plus long terme. Par exemple, il pourrait s’agir d’un taux de rétention ou d’engagement de 90 jours. Comment devriez-vous mesurer cela en exécutant l’expérience pendant seulement six jours ? L’analyse historique est utile dans ce contexte en examinant les modèles antérieurs qui peuvent vous aider à prévoir le résultat sur 90 jours à partir d’une expérience de 6 jours. Cette approche vous aidera à définir une métrique de réussite pour une expérience de 6 jours que vous pourrez facilement mesurer. Il existe toujours un moyen de créer une métrique de réussite robuste, mais la principale conclusion est que si vous lancez une expérience sans métrique de réussite, il est peu probable que vous obteniez un résultat positif.

3. Analyse des risques manquante : Parfois, une expérience de changement mal implémentée peut décevoir un utilisateur actif. Il ne s’agit pas ici d’évaluer les risques potentiels tout en vérifiant la faisabilité d’une expérience. Vous devez vous rappeler que certaines expériences peuvent avoir des résultats contre-intuitifs qui peuvent nuire à votre entreprise. Ainsi, une évaluation des risques avant l’expérimentation vous évitera des surprises et vous aidera à faire décisions fondées sur des données.

4. Calculatrice en ligne : Il existe plusieurs calculateurs de taille d’échantillon d’expérience en ligne. La clé ici est de comprendre que la détermination de la taille de l’échantillon n’est pas un calcul purement mathématique, et plusieurs subtilités qualitatives et sectorielles les influencent. D’autres éléments, tels que les métriques et les critères de réussite, affectent également la taille de l’échantillon de l’expérience. Si vous ne les tenez pas compte, vous n’obtiendrez peut-être pas la taille idéale qui vous donnera les réponses que vous recherchez.

Lié: Transformez votre entreprise en encourageant l’expérimentation et le changement

L’expérimentation peut être votre ami et un catalyseur d’affaires, aussi. Une conception d’expérience avec une hypothèse bien articulée, des mesures de réussite, une identification de cohorte et un plan d’atténuation des risques vous aidera à obtenir les meilleurs résultats de vos projets d’expérimentation et vous aidera boostez le succès de votre entreprise. L’article suivant de cette série discutera des biais comportementaux courants des consommateurs qui influencent les résultats des expériences.