Taux de clics et taux de conversion : comparez les mêmes observations

Le taux de clics rapporte les clics à une possibilité de cliquer définie dans le rapport. Le taux de conversion rapporte un résultat précis à une base définie. Selon le rapport, cette base peut être les impressions publicitaires, les messages délivrés, les visites, les personnes ayant cliqué ou un autre groupe éligible. Pour comparer utilement ces taux, commencez par nommer l’action et son dénominateur.

Par exemple, « les inscriptions parmi les personnes ayant cliqué » ne répond pas à la même question que « les inscriptions parmi toutes les personnes auxquelles un message a été envoyé ». Un rapport peut retenir l’une ou l’autre définition, mais son libellé doit la préciser. Un clic ne correspond pas non plus à une personne distincte : des événements répétés peuvent modifier le total.

Dans cette étude, la base commune est une observation associant un destinataire à une newsletter dans le jeu de données publié. Nous comptons si elle comporte un indicateur de clic et un indicateur d’investissement. Nous ne disposons ni d’un dénominateur de messages délivrés ni d’une séquence horodatée. Nous parlons donc de taux enregistrés et de proportions de recoupement.

Cette distinction aide une entreprise à décider si elle doit modifier son message, son offre ou sa mesure. Deux totaux séparés ne permettent pas de savoir où une personne s’est arrêtée. Rapprocher les observations éligibles est une étape pour répondre à cette question ; établir l’ordre et le moment des événements en est une autre.

Les chercheurs Lars Hornuf et Christoph Siemroth ont travaillé avec bettervest, une plateforme allemande de financement participatif par la dette. Leur expérience comparait plusieurs façons de présenter dix projets d’investissement dans des newsletters. Le jeu de données publié contient 55 357 observations associant un destinataire à une newsletter et 7 864 codes de destinataire. Un destinataire peut apparaître dans dix newsletters au maximum.^[1][2]

Les auteurs ont enregistré si le destinataire cliquait sur un lien individuel vers le projet dans la newsletter et s’il investissait un montant positif dans ce projet. Chaque résultat est représenté par un indicateur oui/non. L’indicateur d’investissement n’est ni un nombre de transactions, ni une valeur d’achat, ni une mesure des ventes finalisées d’une boutique en ligne.

L’article original examine les effets de la manière de présenter le message. Notre analyse pose une autre question : dans quelle mesure les deux résultats enregistrés se recoupent-ils pour le même destinataire et la même newsletter ? Nous réunissons les trois groupes expérimentaux d’origine et conservons tout l’échantillon publié. Nous ne réestimons pas les effets de la présentation du message.

Il s’agit de données historiques d’une plateforme particulière, publiées en 2023. Les documents examinés n’établissent ni période d’observation commune ni ordre entre clics et investissements. L’étude apporte donc un exemple de mesure, pas un taux de conversion de référence actuel pour l’e-mail marketing.

Un clic et un investissement enregistrés apparaissent ensemble dans 327 des 55 357 observations. Dans 1 499 autres, un clic apparaît sans indicateur d’investissement ; dans 284, un investissement apparaît sans indicateur de clic ; et dans 53 247, aucun des deux n’apparaît. Le tableau conserve les quatre possibilités.

Dans l’ensemble du fichier, 1 826 observations portent un indicateur de clic, soit 3,30 %. Un indicateur d’investissement figure dans 611 observations, soit 1,10 %. Ce sont les deux taux marginaux : ils décrivent la fréquence de chaque indicateur, mais pas leur présence simultanée dans une même observation.

Parmi les 611 observations avec investissement, 327 comportent aussi un clic. Cela représente 53,52 % ; les 46,48 % restants n’ont pas de clic enregistré. En inversant la question, on change de dénominateur : parmi les 1 826 observations avec clic, 327 comportent aussi un investissement, soit 17,91 %.

Les deux pourcentages sont corrects, car ils répondent à des questions différentes. Le premier part des observations avec investissement pour examiner les clics. Le second part des observations avec clic pour examiner les investissements. Aucun des deux ne doit être présenté comme la probabilité qu’un clic ait conduit à un investissement ultérieur.

Une observation avec investissement mais sans clic ne raconte pas son propre parcours. Elle ne permet pas d’affirmer qu’une personne a ignoré la newsletter, qu’un outil de suivi a manqué un événement ou qu’un autre canal a provoqué l’investissement. Ces explications exigeraient des informations sur la collecte, les dates et les autres activités que ce jeu de données ne fournit pas.

Pour un responsable de campagne, la conséquence immédiate est plus précise : conserver le nombre d’observations communes à côté des totaux séparés. Lorsque la question porte sur les personnes ayant réalisé les deux actions, cette intersection fait partie de la réponse. Un ratio entre deux totaux dont les observations n’ont pas été rapprochées ne remplace pas ce calcul.

Le recoupement varie entre les dix newsletters d’origine. Parmi les observations avec investissement, la part comportant aussi un clic va de 29,55 % à 78,43 %. Nous montrons chaque newsletter pour qu’aucun des deux extrêmes ne soit pris pour le résultat de toute l’étude.

Les numéros des newsletters ci-dessous sont les codes du fichier d’origine, pas une chronologie ni un classement. La plus petite base d’investissements compte 31 observations et la plus grande 118. Lorsqu’un pourcentage élevé repose sur une petite base, cette base doit rester à côté du résultat si on le cite.

Les effectifs complets ci-dessous permettent de vérifier la comparaison. Pour chaque newsletter, additionnez « les deux » et « investissement seul » pour obtenir la base d’investissements. Additionnez « les deux » et « clic seul » pour obtenir la base de clics. Les quatre cellules donnent ensemble le total de la newsletter.

Ces différences ne désignent pas la meilleure création de newsletter. Les projets diffèrent, les mêmes destinataires peuvent revenir et notre analyse réunit les groupes expérimentaux d’origine. Nous ne réalisons pas de tests de significativité par newsletter et n’affirmons pas qu’un projet donné a causé un recoupement plus important.

Pour une entreprise qui mène plusieurs campagnes, gardez le détail de chacune à côté du bilan global. Pour décider comment modifier une campagne, commencez par sa propre ligne et ses effectifs. Conservez le tableau global lorsque vous rendez compte de plusieurs campagnes. Ne choisissez pas une campagne favorable après avoir vu son résultat.

Notre comparaison principale donne le même poids à chaque observation associant un destinataire à une newsletter. Un destinataire présent dans dix newsletters contribue donc dix observations, contre une pour une personne présente une seule fois. Ce choix convient pour décrire les données publiées, mais d’autres résumés sont possibles.

Dans une comparaison secondaire définie à l’avance, nous donnons à chaque code de destinataire un poids total de un. Une personne présente dans dix newsletters contribue un dixième par observation ; une personne présente une seule fois contribue un. Chaque code de destinataire apporte ainsi le même poids total. Cela ne rend pas l’échantillon représentatif d’un pays ou d’un marché.

Avec cette pondération, 51,69 % du poids des observations avec investissement comporte aussi un indicateur de clic, contre 53,52 % dans l’analyse principale. Dans l’autre sens, la proportion est de 19,12 %, contre 17,91 %. Nous conservons les deux résumés : le second décrit un objet différent, ce n’est pas une correction choisie parce que son résultat serait préférable.

Les totaux pondérés des cellules contiennent des fractions, car ils additionnent des contributions comme un demi ou un dixième. Leur somme est de 7 864, le nombre de codes de destinataire. Il ne faut pas les présenter comme des fractions de personnes ni comme des nombres d’investisseurs distincts ayant réalisé chaque action.^[3]

Avant d’interpréter une campagne comme un tunnel de conversion, rédigez une courte fiche de mesure. Le modèle en libre accès ci-dessous sert à préparer votre propre reporting. Il ne suppose pas que ce jeu de données historique utilisait les mêmes définitions, ni qu’une modification de la mesure améliorera les ventes.

Décision : « Nous voulons décider [quelle modification apporter au message, à l’offre ou au rapport] pour [campagne]. » Choisissez la décision avant de sélectionner un taux qui vous arrange.

Unité et base : « Une ligne représente [un destinataire et une campagne, une visite ou une autre unité identifiable dans les données]. Notre base éligible est [définition]. Les événements et destinataires répétés sont traités selon [règle]. » Distinguez le nombre d’événements du nombre d’identifiants.

Actions : « Un clic désigne [événement précis enregistré]. Un résultat désigne [inscription, demande qualifiée, achat finalisé ou autre action définie]. » Décidez comment traiter les annulations, les remboursements, les événements de test et les doublons.

Rapprochement et calendrier : « Nous relions les observations grâce à [identifiant dont l’utilisation est autorisée]. Nous observons les clics sur [période] et les résultats sur [période]. Nous pouvons établir l’ordre grâce à [horodatages disponibles]. » Si le rapprochement ou un horodatage est impossible, dites-le au lieu de combler le manque par un parcours supposé.

Rapport : « Nous montrerons clic seul, résultat seul, les deux et aucun des deux, ainsi que la base éligible. Chaque pourcentage conditionnel précisera son dénominateur. » Gardez les observations indisponibles ou non rapprochables visibles comme une question distincte du reporting, au lieu de les classer sans le dire dans « aucun des deux ».

Usage : « Ce rapport décrit [relation observée]. Pour affirmer [qu’une campagne a provoqué davantage de résultats], il nous faudrait [un dispositif de comparaison adapté]. » Le tableau de recoupement ne fournit pas à lui seul cette comparaison causale.

Prenons une créatrice fictive disposant de 1 000 observations éligibles associant un destinataire à une campagne. Supposons que les périodes définies et le rapprochement autorisé donnent 80 observations avec clic, 30 avec inscription et 18 avec les deux. Ces chiffres sont inventés pour expliquer le calcul ; ils ne constituent pas un autre résultat du jeu de données sur le financement participatif.

Le tableau complet contient 18 observations avec les deux actions, 62 avec clic seul, 12 avec inscription seule et 908 sans aucune des deux. Le taux de clics est de 80 divisé par 1 000, soit 8 %. Le taux d’inscription est de 30 divisé par 1 000, soit 3 %.

Parmi les observations avec clic, 18 sur 80 comportent aussi une inscription : 22,5 %. Parmi celles avec inscription, 18 sur 30 comportent aussi un clic : 60 %. La créatrice peut présenter les quatre chiffres sans laisser entendre qu’ils mesurent la même chose.

Les 12 observations avec inscription seule appellent une description neutre tant que la créatrice n’a pas d’informations sur les parcours correspondants. Même lorsque les horodatages établissent qu’un clic a précédé une inscription, l’ordre ne prouve pas à lui seul que la newsletter l’a provoquée. La créatrice peut utiliser le tableau pour préciser la prochaine question sans en faire une estimation du gain de chiffre d’affaires.

Une fiche remplie utile pourrait indiquer : « Nous décrivons le recoupement des inscriptions enregistrées pour cette campagne et ces périodes. Nous conserverons les quatre catégories, montrerons les deux bases conditionnelles et présenterons séparément les observations impossibles à rapprocher. » C’est plus exploitable qu’une simple étiquette de taux de conversion dont personne ne sait nommer le dénominateur.

Nous avons utilisé l’intégralité du fichier final Stata de la première version publique des auteurs. Avant de calculer les résultats conjoints, nous avons vérifié l’identité du fichier, les sept champs numériques requis, les 55 357 paires uniques de destinataire et de newsletter, les 7 864 codes de destinataire et les dix codes de newsletter. Les deux indicateurs devaient être présents et codés exactement zéro ou 100.^[2]

Nous avons vérifié les effectifs des trois groupes expérimentaux et reproduit les pourcentages marginaux arrondis de clics et d’investissements publiés dans l’article. Aucune observation n’a été supprimée, imputée ou dédupliquée. Nous avons ensuite compté les quatre combinaisons dans l’ensemble du fichier et pour chaque newsletter, puis calculé les mêmes grandeurs avec la pondération fixe donnant le même poids à chaque destinataire.

Deux implémentations écrites indépendamment ont produit des effectifs et des fractions exactes identiques. Le dossier téléchargeable contient le code de calcul original, la méthode et toutes les tables agrégées. Il exclut les observations brutes et les identifiants de destinataire. Obtenez le fichier source séparément auprès des auteurs et conservez leur attribution.

Nous n’ajoutons pas d’intervalles de confiance d’échantillonnage à ce décompte exhaustif du fichier publié. Les effectifs sont exacts pour ces observations, mais cela n’établit pas leur précision pour une population plus large. La présence de destinataires répétés et de projets communs compterait pour une généralisation, que cette étude ne cherche pas à faire.

L’apport pratique est un tableau complet du recoupement enregistré et une façon claire de poser la prochaine question de mesure. Il complète l’expérience originale des auteurs. Pour vos décisions de campagne, définissez le résultat, la base, la règle de rapprochement et la période avant de décider ce qu’un taux de conversion signifie.