Test d'incrémentalité : comment savoir quelles pubs ont vraiment causé vos ventes

La seule façon honnête de savoir si une pub fonctionne, c'est de l'éteindre.

Coupez Meta en Bretagne pendant deux semaines pendant qu'il continue de tourner partout ailleurs. Si les ventes en Bretagne chutent, les pubs faisaient quelque chose de réel. Si les ventes ne bougent pas, vous venez d'apprendre que les conversions que Meta revendiquait allaient avoir lieu de toute façon, et que vous les payiez.

Cette petite expérience inconfortable a un nom : le test d'incrémentalité. C'est la seule méthode en marketing qui répond à la question que toutes les autres métriques esquivent discrètement. Votre dashboard vous dit qu'une vente a été attribuée à une pub. L'incrémentalité vous dit si la pub l'a causée. Ce ne sont pas la même question, et l'écart entre les deux est l'endroit où la plupart des budgets pub se vident en silence.

L'attribution vous dit quelle pub créditer. L'incrémentalité vous dit quelle pub garder. Une seule des deux survit quand vous coupez la campagne.

Au menu :

• Ce que l'incrémentalité mesure vraiment, et pourquoi c'est une question causale que votre dashboard ne peut pas trancher.
• La preuve, par les économistes des plateformes elles-mêmes, que les chiffres rapportés surestiment la vérité.
• Les trois designs d'expérience : holdout utilisateur, ghost ads, et geo-lift.
• Pourquoi les outils de lift des plateformes notent leur propre copie, et quoi faire à la place.
• Comment lancer votre premier test sans équipe de data scientists.

Ce que le test d'incrémentalité mesure vraiment

Le test d'incrémentalité mesure l'effet causal de la publicité en comparant un groupe exposé à vos pubs à un groupe comparable délibérément laissé non exposé, puis en lisant la différence de résultats entre les deux. Cette différence, le lift, c'est la part de conversions que votre publicité a réellement créées plutôt que simplement côtoyées.

L'idée clé, c'est le contrefactuel : ce qui se serait passé dans le monde parallèle où vous n'avez jamais diffusé la pub. Vous ne pouvez jamais observer ce monde directement, alors l'incrémentalité en construit le substitut empirique le plus proche, un groupe de contrôle, et traite l'écart entre exposé et contrôle comme la vraie contribution de la pub. Dans le langage de l'inférence causale, vous estimez un effet moyen du traitement : prenez le taux de conversion du groupe traité, soustrayez celui du groupe de contrôle, et ce qui reste ne peut s'expliquer ni par la saison, ni par la demande de marque, ni par des acheteurs déjà en route. Cela ne peut s'expliquer que par la pub.

Tout le reste de votre stack, chaque pixel, chaque modèle d'attribution, chaque dashboard plateforme, est corrélationnel. Cela enregistre qu'une conversion a eu lieu près d'une pub. L'incrémentalité est la seule méthode qui isole la cause de la coïncidence.

Pourquoi vos dashboards ne peuvent pas y répondre

Tenez une conversion dans votre main et posez une question simple : cette personne aurait-elle acheté sans la pub ? Aucun modèle d'attribution ne peut y répondre, parce que l'attribution ne travaille jamais qu'avec des conversions déjà arrivées. Elle répartit le crédit entre les touchpoints qu'elle a observés. Elle ne compare jamais au monde où le touchpoint était absent. On a creusé ce piège dans notre guide des 9 modèles d'attribution : même le modèle data-driven le plus avancé est de la corrélation sophistiquée, pas une preuve.

Il y a une raison précise et mesurée pour laquelle les comparaisons naïves échouent. Lewis, Rao et Reiley (2011) l'ont baptisée le biais d'activité : le moment où quelqu'un est en ligne et assez actif pour voir votre pub est aussi le moment où il fait plus de tout, recherches, inscriptions, achats. Exposition à la pub et conversion montent ensemble non parce que la pub a causé la vente, mais parce qu'un utilisateur actif fait les deux à la fois. Comparez des utilisateurs exposés à ceux qui n'ont simplement pas vu la pub, et vous prenez cette activité partagée pour un effet publicitaire. C'est pourquoi un groupe de contrôle honnête doit être construit par randomisation délibérée ou holdout géographique, jamais trouvé après coup.

La preuve que cela compte n'est pas un avis de vendeur. C'est une partie des travaux les plus cités de l'économie publicitaire, produits en grande partie par les chercheurs des plateformes elles-mêmes. Gordon et ses collègues (2019) ont mené quinze grandes expériences randomisées chez Facebook, un demi-milliard d'observations, et montré que les méthodes observationnelles et d'attribution sur lesquelles s'appuient les marketeurs échouent régulièrement à retrouver le vrai effet causal révélé par les expériences. Blake, Nosko et Tadelis (2015) ont mené l'expérience de search payant d'eBay et trouvé des retours représentant une fraction des estimations non expérimentales, les annonces sur mots-clés de marque ne produisant quasiment aucune vente incrémentale parce que ces acheteurs arrivaient de toute façon. Lewis et Rao (2015) ont montré que même des expériences à plusieurs millions de dollars laissent le ROI publicitaire statistiquement difficile à cerner, ce qui est précisément pourquoi un design de test rigoureux compte tant.

Les trois façons de construire un groupe de contrôle

Chaque test d'incrémentalité est une variation sur un seul geste : créer un groupe qui ne voit pas la pub, et comparer. Les designs diffèrent dans la façon de construire ce groupe non exposé, et celui que vous pouvez utiliser dépend entièrement des données que vous avez encore le droit de collecter.

Le holdout utilisateur (l'essai contrôlé randomisé)

Avant le lancement de la campagne, une tranche aléatoire de votre audience cible est mise de côté et ne verra jamais la pub. Les deux groupes sont suivis de la même façon, et la différence de taux de conversion est le lift. C'est le design le plus propre possible, l'essai contrôlé randomisé des manuels, et c'est ce que des outils comme Meta Conversion Lift font sous le capot, en réservant typiquement de l'ordre de cinq à dix pour cent de l'audience. Sa faiblesse : il dépend de la capacité de la plateforme à identifier et séparer des utilisateurs individuels, ce que les changements de confidentialité ont rendu bien plus difficile hors plateforme.

Les ghost ads

Les ghost ads, introduits par Johnson, Lewis et Nubbemeyer (2017), ont résolu un problème coûteux. Les anciens holdouts montraient au groupe de contrôle une publicité d'intérêt général en placebo pour mesurer qui aurait converti, ce qui revenait à payer des impressions inutiles. Les ghost ads enregistrent à la place la pub que le système aurait servie à chaque utilisateur de contrôle, sans réellement l'afficher. Vous obtenez un contrefactuel randomisé et précis sans acheter d'inventaire placebo, et cela fonctionne à l'intérieur de l'enchère temps réel qui optimise la diffusion. C'est la façon la plus élégante de mener une expérience propre sur une plateforme live, et ce travail a remporté un prix académique majeur pour exactement cette raison.

Le geo-lift (expériences géographiques)

Quand vous ne pouvez pas suivre les individus, vous arrêtez de tester des gens et vous testez des lieux. Les expériences géographiques, formalisées par Vaver et Koehler chez Google (2011), répartissent des régions non chevauchantes en traitement et contrôle : vous diffusez les pubs dans les régions de traitement, les coupez ou les retenez dans les régions de contrôle, et vous comparez les ventes agrégées entre les deux groupes. Parce qu'il ne lit que des totaux au niveau régional et ne touche jamais à un identifiant utilisateur, le geo-lift est structurellement immunisé contre l'App Tracking Transparency et la perte des cookies. Il compare des groupes, pas des personnes. Cette même propriété en fait la seule méthode capable de mesurer la pub offline, en magasin, à la TV et en affichage, dont aucune ne laisse de trace cliquable. Quand seule une poignée de régions est disponible, une approche par régression temporelle (le framework GeoX de Google, Kerman, Wang et Vaver, 2017) prédit la courbe de ventes contrefactuelle du marché mis en réserve et lit le lift comme l'écart entre la prédiction et la réalité.

Voici comment les trois se comparent :

Le piège : les plateformes notent leur propre copie

Meta Conversion Lift et Google Conversion Lift sont de vraies expériences randomisées, et elles valent bien mieux que le last-click. Mais regardez qui les fait tourner. L'entreprise qui vous vend les pubs est aussi celle qui mesure si les pubs ont marché, qui corrige son propre examen et en rapporte la note. C'est un conflit d'intérêts structurel, pas une accusation de mauvaise foi. Une plateforme a tout intérêt à définir le test, l'audience et la fenêtre d'attribution de façons qui flattent son propre inventaire, et à revendiquer des conversions que d'autres canaux ou la simple demande organique auraient produites de toute façon.

C'est le même problème d'auto-déclaration qui fait que le ROAS rapporté par la plateforme diverge de votre vrai ROAS, et c'est pourquoi les équipes matures traitent les chiffres de lift des plateformes comme une entrée utile, jamais comme le verdict. Un geo-lift indépendant, conçu et lu en dehors de la plateforme, contre votre propre chiffre d'affaires, est le contrôle de la note auto-attribuée. La méthodologie compte plus que celui qui fournit le bouton, et la seule partie qui ne devrait pas posséder le chiffre final est celle qu'on mesure.

Comment ces méthodes s'emboîtent : la couche de vérification

Prenez du recul et toute la stack de mesure se met au point. L'attribution multi-touch est la lentille tactique, rapide et granulaire mais aveugle partout où le tracking casse. Le marketing mix modeling est la lentille stratégique, immunisé contre la perte des cookies parce qu'il ne lit que des dépenses et ventes agrégées, mais trop grossier pour les décisions quotidiennes. L'incrémentalité est la lentille causale, la seule qui prouve un effet, et la plus lente à mener. Aucune des trois n'est fiable seule. Elles se corrigent : l'attribution propose où va le crédit, le MMM garde le portefeuille honnête, et l'incrémentalité tranche laquelle croire.

C'est la couche que Metrikia est conçu pour être. Le tracking server-side et le Conversions API amènent le signal le plus propre aux plateformes, et vous devriez les faire tourner. Ensuite Metrikia se place au-dessus comme couche de vérification : il réconcilie ce que les plateformes revendiquent avec le revenu réellement arrivé dans votre CRM, et il vous donne la structure de holdout et de geo-lift pour tester des questions causales au lieu de faire confiance au crédit auto-déclaré. Les plateformes optimisent vers leur propre tableau de score. Votre travail, c'est d'en tenir un indépendant.

Si vous voulez voir l'écart sur vos propres chiffres plutôt que sur un exemple, réservez une démo : on branche vos plateformes et votre CRM, et on vous montre où les conversions rapportées et le revenu réel, incrémental, divergent.

Comment lancer votre premier test d'incrémentalité

Vous n'avez pas besoin d'une équipe de data scientists pour commencer. Vous avez besoin de discipline sur le groupe de contrôle.

1. Choisissez une seule question causale. Pas « est-ce que mon marketing marche » mais « est-ce que ma prospection Meta est incrémentale, ou est-ce que je paie pour toucher des gens qui convertissent déjà via le search ? » Un test répond à une question à la fois.
2. Choisissez le design que vos données permettent. Des utilisateurs connectés à grande échelle, utilisez un holdout plateforme mais lisez-le avec scepticisme. Tous les autres, surtout post-ATT ou avec des ventes offline, lancez un geo-lift. Il ne nécessite aucun tracking utilisateur.
3. Construisez un vrai contrôle. Répartissez des régions comparables en traitement et contrôle, ou réservez une tranche d'audience aléatoire. Le contrôle doit être réellement retenu, pas juste « peu de budget ». Un contrôle qui fuit tue le test en silence.
4. Faites-le tourner assez longtemps. La plupart des geo-tests durent quatre à huit semaines, assez pour couvrir au moins deux cycles d'achat. Les tests trop courts sous-estiment le lift plus lent de la phase de considération et font passer de bons canaux pour morts.
5. Lisez le lift contre le revenu, pas contre le dashboard. Le ROAS incrémental, c'est le revenu incrémental divisé par la dépense qui l'a produit. Si le ROAS incrémental d'un canal est très en dessous du ROAS que la plateforme lui attribue, vous venez de trouver du budget à déplacer.

La première fois qu'un holdout vous montre qu'un canal en qui vous aviez confiance porte bien moins de lift que son dashboard le prétendait, l'exercice entier se rembourse tout seul.

Conclusion

Tous les autres chiffres du marketing décrivent ce qui s'est passé à côté de vos pubs. L'incrémentalité est le seul qui prouve ce qui s'est passé à cause d'elles. Elle le fait de la seule façon dont la causalité peut être établie, en construisant un monde sans la pub et en mesurant la différence. C'est plus lent et plus discipliné que de lire un dashboard, ce qui est exactement pourquoi si peu d'annonceurs le font, et exactement pourquoi ceux qui le font cessent de surpayer des conversions qui allaient toujours avoir lieu. L'attribution vous dit quelle pub créditer. L'incrémentalité vous dit quelle pub garder.

FAQ

Qu'est-ce que le test d'incrémentalité ? Le test d'incrémentalité mesure l'effet causal de la publicité en comparant un groupe exposé à un groupe de contrôle comparable non exposé. La différence de résultats, le lift, est la part de conversions que la publicité a réellement causées plutôt que simplement côtoyées.

Quelle différence entre incrémentalité et attribution ? L'attribution répartit le crédit entre les touchpoints qu'elle a observés, ce qui est corrélationnel. L'incrémentalité compare à un groupe de contrôle qui n'a jamais vu la pub, ce qui est causal. L'attribution vous dit quelle pub créditer ; l'incrémentalité vous dit si la pub a causé la vente tout court.

Comment mesure-t-on le ROAS incrémental (iROAS) ? Le ROAS incrémental, c'est le revenu incrémental divisé par la dépense qui l'a produit : prenez le revenu du groupe exposé, soustrayez celui du groupe de contrôle, et divisez par le coût de la campagne. Il est presque toujours plus bas que le ROAS rapporté par la plateforme, parce que celle-ci compte des conversions qui allaient avoir lieu de toute façon.

Qu'est-ce qu'un test de holdout et comment marche-t-il ? Un test de holdout retient délibérément la publicité d'un groupe choisi au hasard, utilisateurs ou régions entières, tout en la diffusant partout ailleurs. L'écart de conversions entre le groupe exposé et le groupe retenu est le lift incrémental.

Quelle différence entre geo-lift et conversion lift ? Le conversion lift désigne en général un holdout au niveau utilisateur mené dans une plateforme comme Meta ou Google. Le geo-lift retient la publicité de régions géographiques entières et compare les ventes agrégées. Le geo-lift ne nécessite aucun identifiant utilisateur, donc il survit à l'ATT et à la perte des cookies et peut mesurer l'offline et la TV.

Qu'est-ce qu'un test geo-lift ? Une expérience géographique assigne au hasard des régions non chevauchantes en traitement et contrôle, diffuse les pubs uniquement dans les régions de traitement, et lit la différence de ventes agrégées comme le lift causal. Elle a été formalisée par Vaver et Koehler chez Google en 2011.

Qu'est-ce que Meta Conversion Lift ? Meta Conversion Lift est une expérience contrôlée randomisée menée dans Meta qui retient une portion de l'audience cible et compare le taux de conversion des utilisateurs exposés contre retenus. C'est plus rigoureux que l'attribution last-click, mais c'est mené et rapporté par la plateforme qui vend les pubs, donc une vérification indépendante reste nécessaire.

Combien de temps doit durer un test d'incrémentalité ? La plupart des geo-lifts durent environ quatre à huit semaines, assez pour couvrir au moins deux cycles d'achat. Les tests de moins de quelques semaines tendent à sous-estimer le lift plus lent de la phase de considération.

Qu'est-ce que l'effet minimum détectable (MDE) ? Le MDE est le plus petit lift qu'un test peut détecter de façon fiable compte tenu de la quantité de données, du nombre d'unités de traitement et de contrôle, et de la durée du test. Un MDE plus petit exige plus de données ou une fenêtre plus longue. C'est l'entrée centrale pour planifier si un test vaut même la peine d'être mené.

Pourquoi l'incrémentalité est-elle meilleure que l'attribution last-click ? Le last-click crédite le dernier touchpoint, ce qui est corrélationnel et surpaie systématiquement ce qui se trouve au plus près d'un achat souvent déjà en route. L'incrémentalité compare à un groupe de contrôle, donc elle mesure ce que la publicité a réellement causé. Elles répondent à des questions différentes, mais une seule survit quand vous coupez la campagne.

Le geo-lift marche-t-il encore après l'ATT d'iOS et la perte des cookies ? Oui, et c'est son principal avantage. Le geo-lift ne lit que des ventes agrégées au niveau régional et n'identifie jamais un utilisateur individuel, donc les changements de confidentialité qui ont cassé le pixel et le tracking au niveau utilisateur ne le dégradent pas.

Les petits annonceurs peuvent-ils mener des tests d'incrémentalité ? Oui, même si des budgets plus petits rendent les petits lifts plus durs à détecter. Un geo-lift simple et propre sur votre plus gros canal est le bon point de départ, et il répond à la question qui compte le plus : cette dépense cause-t-elle vraiment des ventes.

Pour voir comment cette brique s'insere dans l'ensemble, voyez notre guide pour monter un systeme de tracking complet, couche par couche.

Références

Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer heterogeneity and paid search effectiveness: A large-scale field experiment. Econometrica, 83(1), 155-174. https://doi.org/10.3982/ECTA12423

Gordon, B. R., Zettelmeyer, F., Bhargava, N., & Chapsky, D. (2019). A comparison of approaches to advertising measurement: Evidence from big field experiments at Facebook. Marketing Science, 38(2), 193-225. https://doi.org/10.1287/mksc.2018.1135

Johnson, G. A., Lewis, R. A., & Nubbemeyer, E. I. (2017). Ghost ads: Improving the economics of measuring online ad effectiveness. Journal of Marketing Research, 54(6), 867-884. https://doi.org/10.1509/jmr.15.0297

Kerman, J., Wang, P., & Vaver, J. (2017). Estimating ad effectiveness using geo experiments in a time-based regression framework. Google Inc. https://research.google/pubs/estimating-ad-effectiveness-using-geo-experiments-in-a-time-based-regression-framework/

Lewis, R. A., & Rao, J. M. (2015). The unfavorable economics of measuring the returns to advertising. The Quarterly Journal of Economics, 130(4), 1941-1973. https://doi.org/10.1093/qje/qjv023

Lewis, R. A., Rao, J. M., & Reiley, D. H. (2011). Here, there, and everywhere: Correlated online behaviors can lead to overestimates of the effects of advertising. Proceedings of the 20th International Conference on World Wide Web, 157-166. https://doi.org/10.1145/1963405.1963431

Vaver, J., & Koehler, J. (2011). Measuring ad effectiveness using geo experiments. Google Inc. https://research.google/pubs/measuring-ad-effectiveness-using-geo-experiments/

À propos de l'auteur

Baptiste Noel, cofondateur de Metrikia. MSc en neurosciences cliniques et MSc en haute performance.

Metrikia est la couche de vérification au-dessus de votre stack publicitaire. Faites tourner le tracking server-side pour nourrir les algorithmes en signal propre, puis laissez Metrikia réconcilier ce que les plateformes revendiquent avec votre revenu réel et monter les tests de holdout et geo qui vous disent ce qui l'a vraiment généré, pour enfin agir sur un chiffre que vous pouvez défendre.