Fermer

novembre 5, 2021

À la poursuite du Saint Graal causal : quantifier le succès de la publicité


Vous êtes-vous déjà demandé à quel point vos campagnes marketing sont vraiment utiles ? En règle générale, les entreprises utilisent des capacités d'apprentissage automatique pour cibler des prospects « idéaux » et peuvent créer des profils d'audience en fonction de leurs données. Ces efforts, cependant, sont fondamentalement centrés sur la prémisse qu'un modèle prédictif est équivalent à un modèle descriptif ou causal, ce qui est loin de la vérité. Dans ce blog, nous explorerons les différences entre les deux, ainsi que la valeur des modèles causaux et comment nous les utilisons chez Zeta.

Le Saint Graal de la publicité

Dans la publicité, il y a deux " Saint Graal" pour l'apprentissage automatique :

1. La possibilité de déduire l'effet « vrai » de variables, telles que l'emplacement et certains mots-clés de recherche, sur la propension à acheter votre produit.
Le savoir fournit des informations et de la valeur non seulement pour la campagne immédiate, mais également pour la stratégie marketing de votre client. .

2. Optimisation de la capacité de ciblage de votre campagne sur les personnes les plus affectées par celle-ci (incrémentalité).
Nous ne voulons pas gaspiller de l'argent en ciblant les personnes qui vont déjà acheter un article. Au lieu de cela, nous voulons être définis par notre capacité à changer activement les comportements uniquement par nos efforts publicitaires.

Bien que les modèles prédictifs existants puissent atteindre ce qui précède dans une mesure limitée, il existe de sérieux problèmes sous-jacents dans leurs capacités. Nous discuterons de ces limites ci-dessous et montrerons comment les modèles causaux peuvent générer des informations stratégiques, réduire les dépenses inutiles et augmenter l'impact de votre campagne sur l'évolution des résultats (ci-après appelée incrémentalité).

Différences entre les modèles prédictifs et causaux[

19659003] Alors pourquoi est-ce important ? Si votre méthode de description de l'effet d'une variable sur le résultat Y passe par un modèle prédictif tel que la régression logistique, alors votre méthode peut être imparfaite.

Dans la modélisation prédictive, tout ce qui vous intéresse, c'est la qualité de votre algorithme peut prédire un résultat donné. Par conséquent, vous êtes prêt à accepter des conditions qui violent les hypothèses clés de votre modèle telles que l'endogénéité et ignorer les problèmes tels que la multicolinéarité, tant que le pouvoir prédictif global est élevé.

Pour contrer ces problèmes, nous devons évaluer soigneusement les sources. d'endogénéité et d'identifier les problèmes qui peuvent contaminer nos interprétations et croyances entourant nos modèles, que ce soit à partir des prédicteurs (le prédicteur est un autre terme pour variable), du processus de génération de données ou autre. La conservation par Zeta des prédicteurs et des processus de modélisation pertinents est précisément construite sur cette prémisse pour offrir de la valeur à nos clients.

Compte tenu de ces problèmes, pourquoi les modèles prédictifs simples ont-ils autant de succès ? Eh bien, à proprement parler pour les modèles prédictifs, peu importe que votre estimation de l'effet d'une variable individuelle sur le résultat Y soit exacte, tant que le modèle dans son intégralité est capable de prédire le bon résultat.

Par exemple, avec prédicteurs « A » et « B » hautement corrélés, il est parfaitement possible que l'estimation de notre modèle pour « A » soit inférieure à la vraie valeur de « A », tant que le modèle compense cela en rendant l'estimation pour « B » supérieure à sa vraie valeur. L'effet total de « A » et « B » est le même, mais les estimations individuelles pour « A » et « B » sont maintenant désactivées.

Nous ne pouvons pas nécessairement interpréter les effets individuels des variables dans nos modèles comme causalités. si notre modèle est de nature prédictive.

Chez Zeta, nous luttons activement contre de tels problèmes pour nous assurer que nos modèles sont à la fois interprétables de manière fiable pour nos clients tout en maintenant un pouvoir prédictif élevé grâce à l'utilisation de techniques de contrainte de modèle, de validation externe et une série de tests et de procédures statistiques.

Estimation de l'impact de nos campagnes

Pour la plupart des annonceurs, les algorithmes d'apprentissage automatique sont conçus pour optimiser les personnes les plus susceptibles de convertir (acheter un article). Cependant, nous posons la mauvaise question ici. Ce qui nous intéresse n'est pas qui est susceptible d'acheter un article, c'est dont le comportement est le plus susceptible de changer en raison de nos annonces.

C'est une différence cruciale ! Dans le premier cas, nous envoyons des annonces à des personnes qui auraient de toute façon acheté un article, avec ou sans avoir vu votre annonce. Bien sûr, la campagne peut afficher un nombre élevé de conversions (personnes qui ont acheté après avoir vu votre annonce), mais quel impact la campagne a-t-elle réellement eu ? Dans ce dernier cas, nous évitons ces dépenses inutiles et optimisons uniquement l'impact que nous pouvons avoir.

Pour comprendre cela, nous utilisons des tests d'incrémentalitéqui divisent nos perspectives totales en deux groupes : traitement et contrôle. Nous veillons à ce que les deux groupes soient homogènes quant à la probabilité qu'ils achètent un article. La seule différence entre les groupes est que le groupe de traitement reçoit une publicité alors que le groupe témoin n'en reçoit pas. Une fois la campagne terminée, nous comparerons la probabilité moyenne qu'une personne du groupe de traitement se convertisse à celle d'une personne du groupe témoin. Dans les statistiques, nous appelons cela l'effet moyen du traitement (ATE).

Chez Zeta, nous avons demandé si nous pouvions aller plus loin. Pouvons-nous estimer l'impact « vrai » ou causal de nos publicités, au niveau individuel ? Si tel est le cas, nous pouvons optimiser nos annonces au niveau individuel afin de maximiser notre impact.

Modélisation causale chez Zeta

Pour répondre aux deux questions (le véritable effet de nos prédicteurs sur un résultat et l'optimisation sur l'incrémentalité), nous devons comprendre comment convertir des modèles prédictifs en modèles causals. Pour ce faire, nous devons comprendre comment les hypothèses de nos modèles ont été violées pour la modélisation prédictive et ajuster nos modèles en conséquence.

En règle générale, les modèles souffrent de diverses violations d'hypothèses, mais les plus notables d'entre elles sont le biais de sélection et la variable omise. biais. Par souci de concision, nous n'en discuterons pas en détail. Mais généralement, le biais de sélection et le biais de variable omis nécessitent une réflexion approfondie sur les prédicteurs que nous mettons dans notre modèle. Nous devons également considérer d'autres formes d'endogénéité, c'est-à-dire lorsque les prédicteurs de notre modèle sont corrélés avec le terme d'erreur. Le terme d'erreur est la façon dont le modèle comprend que la variation d'un résultat entre des points de données de même valeur est naturelle et idéalement aléatoire. Par exemple, si notre modèle prend en compte l'emplacement et l'historique du navigateur, il est normal que les personnes ayant le même emplacement et un historique de navigateur similaire aient des variations dans leurs décisions.

Pour faire face à des formes plus complexes d'endogénéité, nous avons une variété de outils à notre disposition, qui proviennent de domaines aussi variés que l'économétrie à l'épidémiologie. Les principaux parmi ceux-ci sont les variables instrumentales, la discontinuité de régression et les réseaux bayésiens.

Chez Zeta, nous avons constaté que si ces méthodes réussissent à isoler le « vrai effet » des variables en supprimant les biais de nos variables d'intérêt, elles manquent souvent de pouvoir prédictif. Cela fournit toutefois un aperçu stratégique précieux des prédicteurs, ce qui permet de répondre à la première question.

Pour traiter la deuxième question, nous avons emprunté quelques pistes au domaine médical. Dans le domaine médical, les praticiens sont confrontés à un grave problème d'effets hétérogènes des traitements. En d'autres termes, certains sous-groupes d'une population réagiront différemment au même traitement médical. Nous transformons ainsi le problème de l'estimation de l'incrémentalité individuelle en un problème connexe mais plus traitable : pouvons-nous identifier des sous-groupes dans nos campagnes qui ont des taux de réponse anormalement élevés ? Si nous pouvons identifier ces sous-groupes ainsi que supprimer les sous-groupes avec des taux de réponse inférieurs à la moyenne, nous pouvons utiliser une série d'autres techniques de modélisation statistique pour optimiser spécifiquement pour ces groupes et augmenter notre incrémentalité globale.

Want pour discuter plus en détail de la manière dont l'inférence causale et l'incrémentalité peuvent aider vos campagnes ?

Contactez-nous dès aujourd'hui !




Source link