Pourquoi Lyft a décidé de construire sa propre plate-forme martech interne

Il y a quelques mois, j'ai lu un article fascinant publié par l'équipe d'ingénierie de Lyft sur Medium, Construire la plate-forme d'automatisation du marketing de Lyft .

Bien que nous sachions qu'il existe Dans la nature, beaucoup de systèmes martech locaux, il est rare qu’ils soient décrits publiquement. Je les ai qualifiés de «martech sombre» à cause de ce manque de visibilité sur l’industrie. Pourtant, à l'instar de dark matter il y a de bonnes raisons de croire que ces applications personnalisées constituent une partie importante du code exécuté dans l'univers marketing.

L'appeler «sombre martech» n'est pas censé avoir une connotation négative. Il n’est pas sombre parce que c’est mauvais. Il est sombre car il est difficile de voir ou de mesurer en dehors des murs des entreprises individuelles. Vous savez que c'est là, mais il est difficile de le quantifier.

Comme dans l'exemple de Lyft, ces solutions se présentent souvent à l'intersection du marketing et des opérations réelles de l'entreprise elle-même, empêtrées dans la «sauce spéciale» de la livraison de vos expérience client. Par exemple, lorsque vous y réfléchissez, la plupart des applications de sites Web, qui font plus que fournir du contenu statique, sont des exemples courants de ces développements personnalisés.

Souvent, ces solutions sur mesure ne sont pas entièrement . . Elles s’appuient sur des applications et des plates-formes disponibles dans le commerce ou s’y intègrent.

Mais un système personnalisé d’automatisation du marketing n’est pas quelque chose que j’entends aussi souvent. J'étais donc enthousiasmé par le fait que Ajay Sampat et Patrick McGrath de Lyft, qui a construit leur système, aient accepté de faire une période de questions avec moi pour discuter de la raison pour laquelle ils ont abordé cette mission et de la façon dont ils l'ont fait.

1. Plus tôt cet été, vous avez publié un article formidable sur Medium décrivant la manière dont Lyft a construit sa propre plateforme d'automatisation du marketing. J'aimerais prendre du recul et demander d’abord, pourquoi avez-vous décidé de créer votre propre système au lieu d’adopter une solution disponible dans le commerce? Fonctionnalité? Prix? Contrôle?

La gestion des niveaux de service de notre marché au moyen de plateformes de publicité en ligne est un défi complexe. Lyft dessert plus de 400 régions des États-Unis et les niveaux de service de chaque marché (prix, ETA, gains des conducteurs) sont différents. Par conséquent, la valeur que nous attribuons à un facteur incrémentiel dans chaque marché dépend des niveaux de service actuels et prévus du marché.

Pour les marchés achalandés où les ETA sont élevées, nous attribuons davantage de valeur à un facteur incrémentiel. car il y a une demande de cavalier non satisfaite sur ce marché. L'inverse est également vrai: si les niveaux de service sont satisfaisants, l'ajout d'un conducteur incrémentiel sera souvent préjudiciable au marché, car il faut désormais répartir le même nombre d'usagers entre un plus grand nombre de conducteurs, ce qui entraîne une baisse globale des gains des conducteurs. [19659005] En raison des défis posés par la gestion d'un marché, nous avions besoin que notre système d'automatisation du marketing soit étroitement associé aux systèmes internes centraux, à savoir la prévision de la valeur pour la durée de vie du client, l'attribution et la prévision du niveau de service du marché. Nous devions savoir exactement combien il fallait dépenser aujourd'hui et quelles en seraient les conséquences pour le marché 2, 8 ou 16 semaines plus tard.

Lors de l'évaluation des solutions disponibles dans le commerce, nous sommes arrivés à la conclusion que:

• Les composants les plus coûteux
• Les interfaces d'appel d'offres réelles vers les plateformes de publicité étaient relativement peu coûteuses.

Ainsi, étant donné que les interfaces d'appel d'offres étaient moins coûteuses à construire et à gérer, et Avoir le contrôle de toutes nos données nous a permis d'améliorer plus efficacement les composants essentiels et coûteux de la plate-forme, nous avons donc décidé de l'intégrer entièrement.

Rétrospectivement, cette décision était la bonne: nous avons apporté de nombreuses améliorations à la composants de base de la plate-forme, qui ont entraîné des économies de coûts substantielles, des améliorations qui auraient été rendues beaucoup plus difficiles si nous n’avions pas possédé le pipeline de données de bout en bout les offres ont été publiées.

2. L'article a été publié sur la publication de Lyft Engineering sur Medium. S'agissait-il d'un projet d'ingénierie ou d'un projet marketing?

«Symphony», notre plate-forme d’automatisation du marketing, était un projet interfonctionnel entre produit, ingénierie, marketing et science.

Nous avions une équipe de base composée de 7 ingénieurs et de 4 scientifiques pour développer la plate-forme. . Un chef de produit et un responsable technique ont facilité la planification et l’exécution. Deux spécialistes du marketing ont été intégrés à l'équipe d'ingénierie pour fournir un contexte aux spécifications techniques et aux premières versions d'assurance qualité des composants des offres, aux sorties d'offres du modèle, et pour nous aider aux versions initiales d'assurance qualité des soumissionnaires qui prenaient souvent des décisions sous-optimales.

En termes de qui a financé le projet, cela constituait également une scission entre le marketing – celui que nous considérons comme le client de la plate-forme – la science, l’ingénierie et le produit.

3. Quel a été le processus de conception et de mise en œuvre de la plate-forme, pour décider de ce qu’elle devrait faire, de son champ d’application? Depuis 1965, lors des investissements en automatisation chez Lyft, nous avons généralement constaté une amélioration de 20 à 30% de la rentabilité des activités d’automatisation gérées autrement par des ressources humaines, telles que la répartition des dépenses en coupons. Nous nous attendions donc à un retour sur investissement optimiste (1,3 * dépenses de marketing actuelles) – (dépenses de marketing actuelles). Publiquement, ce chiffre était d'environ 700 millions de dollars en 2018, ce qui signifie que les gains d'efficacité attendus se situaient au nord de 150 millions de dollars par an.

Lors des précédents investissements dans l'automatisation chez Lyft, nous avons généralement observé une amélioration du coût de 20 à 30%. Efficacité de l'automatisation d'activités gérées autrement par des humains

De plus, nous avions mené des expériences uniques en testant diverses stratégies d'enchères préétablies et nous savions que nous pourrions générer des gains en automatisant des éléments du pipeline de marketing. ] Avec ces preuves et l'alignement sur l'ensemble de l'organisation de croissance, nous sommes partis du problème que nous voulions résoudre:

• La gestion manuelle des enchères et de la budgétisation prend beaucoup de temps.
• Nous ignorons quelle est la probabilité que notre chauffeur mène ou qu'il soit nouveau. Les installations de motocyclistes entraîneront des déplacements précieux.
• Nous ne savons pas comment attribuer un crédit entre les différents points de contact marketing menant à des déplacements intéressants.
• Nous ne savons pas à quoi le marché ressemblera quand les conducteurs agissent. En règle générale, notre stratégie de croissance consistait à acheter des conducteurs et des motards à la marge.

En outre, notre stratégie de croissance consistait à acheter des conducteurs et des coureurs à la marge. Toutefois, lorsque la «marge» est une cible mouvante qui dépend des futurs niveaux de service du marché, cela signifie que le prix que nous sommes prêts à payer aujourd'hui pour un utilisateur peut être différent de celui de deux semaines à partir de maintenant. Nous avions besoin d'un moyen de monter ou de réduire la «courbe des coûts» des dépenses et du volume de manière prévisible.

Le problème posé conduisait ensuite à planifier ce que les composants essentiels devaient accomplir – le plan d'infrastructure, les spécifications techniques de chacun. composant, interfaces API entre composants et mode de formation des différents modèles.

Une fois publié, le «produit» que nous avons créé ici était en réalité un énorme pipeline de données couvrant plus de 30 procédures planifiées: formation de modèle, validation, déploiement, publication des offres. , automatisation de la campagne, journalisation, répétition.

Nous avons défini des échéanciers serrés pour le déploiement du projet et avons rendu compte des progrès mensuels, planifié les cycles de sprint mensuels et ménagé le plus de temps à l’équipe pour expédier le produit. Le processus de publication était en réalité un déploiement contrôlé sur nos marchés, avec une scission continue pour observer les marchés «contrôlés» – ou gérés de manière humaine – et les marchés pour lesquels le logiciel gérait activement le budget.

Après la publication initiale, la planification de projet pour le L’équipe consistait en un dimensionnement d’impact – où nous pensions pouvoir générer le plus grand gain d’efficacité – par rapport au niveau d’effort en ingénierie. Cela nous a permis d’investir dans des améliorations telles que les modèles LTV, les modèles d’attribution, etc.

La métrique de North Star pour la plate-forme actuelle a toujours été et a toujours été la rentabilité des coûts de commercialisation, avec des sous-métriques telles que la fiabilité de la plate-forme. surveillé et amélioré.

L’équipe n’a fait que croître, car nous avons commencé à automatiser des éléments tels que la création de campagnes et de créations, et nous avons investi dans de meilleures informations pour que nos équipes marketing puissent alimenter les stratégies de campagnes gagnantes par la machine.

4. Alors que votre solution globale était une plate-forme d'automatisation du marketing sur mesure, avez-vous utilisé ou intégré des composants commerciaux dans le cadre de votre mise en œuvre? Quelle serait la ligne de démarcation pour décider de construire ou d'acheter un composant ou un service particulier?

L'ensemble de la pile est sur mesure. Cela a été rendu beaucoup plus facile grâce à la qualité des équipes de services internes. Nous avons une équipe de la plate-forme ML chargée de faciliter la formation et le déploiement de modèles, et une équipe de la plate-forme de données facilitant la gestion des clusters et des tâches complexes, qui réduisent considérablement les exigences et la portée du projet.

Les critères de décision pour l'achat commercial il y a toujours un coût de construction par rapport à un coût d'achat. Sur le plan stratégique, nous voulions renforcer notre organisation en matière d'automatisation du marketing, ce qui rendait l'option de création attrayante pour nous, même lorsque les coûts d'achat d'une solution tierce, telle que l'attribution en tant que service, étaient très bas. .

Lyft en est encore à ses balbutiements pour comprendre l'efficacité du marketing et nous considérons la plate-forme que nous avons construite comme un différenciateur concurrentiel – en partie à cause de la quantité d'expertise que nous avons développée en interne à la suite de cette opération.

nous allons brancher les meilleurs composants commerciaux tels que la gestion des données, en particulier lorsque nous commençons à redimensionner nos efforts de marketing programmatique.

Nous finirons par intégrer les meilleurs composants commerciaux, tels que les données. gestion, en particulier lorsque nous commençons à redimensionner nos efforts de marketing programmatique. Nous n'avons pas encore traversé ce pont.

5. Pour les autres entreprises qui lisent ceci et disent: «Peut-être devrions-nous aussi construire notre propre plate-forme d’automatisation du marketing!», Quels seraient les compromis que vous suggéreriez d’envisager?

On nous pose cette question presque tous les jours, et heureusement, je peux dire que la réponse est assez simple:

• Vous verrez probablement 15-30% amélioration de la rentabilité des coûts de marketing pour toutes les dépenses gérées par le renforcement de l'apprentissage.
• À partir de zéro, le projet mettra 60 à 70 mois (par exemple, 8 personnes sur 8 mois) pour publier une version initiale. Si l'alpha généré par l'amélioration du rapport coût-efficacité est suffisant pour couvrir les coûts d'opportunité de cet investissement, alors foncez!
• Vous avez besoin de personnes ayant de solides antécédents en systèmes distribués et une équipe d'ingénieurs / scientifiques à la recherche capable de cadrer, communication et résolution de problèmes d'apprentissage automatique.
• L'infrastructure de données constituera le plus grand défi: validation, détection des anomalies, allocation de mémoire et efficacité des requêtes: toutes ces tâches sont coûteuses.

Une autre façon de réfléchir au pourquoi du bâtiment une plate-forme comme Symphony: si vous constatez une forte variabilité dans le taux de conversion, le coût / utilisateur ou la valeur / utilisateur, une plate-forme d'apprentissage automatique est un excellent moyen de tirer parti des gains réalisés en prévoyant et en exploitant ces variabilités.

Je réalise qu'il s'agit d'un entreprise substantielle pour la plupart des entreprises, et à ce que je dis: l'élément le plus précieux de tout ce système est la prédiction de la valeur à vie.

Les plates-formes d'appel d'offres facilitent les choses. Il est plus facile d’envoyer des prévisions de valeur en temps réel pour éclairer les stratégies d’enchères. Si vous n’investissez que dans un seul composant d’une suite marketing – modélisation et prédiction LTV, avec une amélioration continue de la précision du modèle – c’est le meilleur choix pour le dollar, et a un court délai pour générer des retours.

6. Quel conseil donneriez-vous aux autres entreprises pour équilibrer l'intersection du produit, du marketing et de la croissance en général?

Commencez par la valeur que vous souhaitez générer pour vos utilisateurs. Pour nous, c'était un marché équilibré. En tant qu'utilisateur de Lyft, nous voulons tous un excellent ETA à un prix raisonnable.

À partir de là, déterminez ce qui vous empêche d'atteindre cette valeur. Ces discussions peuvent avoir lieu dans toutes les fonctions de l'organisation.

Lors du développement de systèmes complexes, l'équipe doit être protégée des effets de la loi de Conway.

Une fois qu'un problème a été choisi et qu'une solution a été trouvée sur – et c’est le conseil le plus important – laissez l’équipe faire le travail. En particulier, lors du développement de systèmes complexes, l’équipe doit être protégée des effets de la loi de Conway. Laissez les contraintes de l'espace de solution informer la conception du système, pas les contraintes de l'organisation.

Configurez l'équipe avec des métriques de réussite transparentes et réduisez au minimum les mises à jour de statut. Protégez sans relâche le plan et le temps de l’équipe. Il en résultera de grandes choses. Je pense que cette affirmation est universellement vraie pour le développement de logiciels, mais est beaucoup plus importante lors du développement d'un logiciel d'automatisation du marketing.

Merci, Ajay et Patrick.

<! –

->