Tests A/B d’e-mails : ce qui a changé après la première heure

À 60 minutes, 4 712 des 5 743 paires admissibles avaient une version en tête : sa mesure de clics enregistrés était supérieure à celle de l’autre. À 1 440 minutes, soit 24 heures après l’envoi de chaque version, 3 510 favorisaient toujours la même version. Pour 991 autres, l’autre version était passée en tête, tandis que 211 étaient à égalité. Parmi les paires ayant commencé avec une avance, 74,5 % l’ont conservée, 21,0 % l’ont inversée et 4,5 % ont fini à égalité. ^[2]

Ces comparaisons portent sur une mesure enregistrée précise. Nous divisons le compteur de clics uniques de chaque version par son nombre d’e-mails envoyés déclaré, puis multiplions par 100. L’unité obtenue est le nombre de clics enregistrés pour 100 envois. Une avance signifie que cette mesure est supérieure, même si la différence est minime. Elle ne signifie pas que le résultat est statistiquement significatif.

Il faut garder la majorité à l’esprit. Cette archive ne montre pas que les rapports de la première heure étaient généralement contredits par la suite. Elle contient des avances maintenues, des inversions et des égalités ultérieures. Un rapport qui ne conserve que l’ordre initial perd la distinction entre ces parcours.

Un rapport de la première heure peut décrire correctement les données enregistrées à ce moment-là, même si l’ordre diffère plus tard. Parler de « faux gagnant » en cas d’inversion irait plus loin : cela reviendrait à traiter l’ordre ultérieur comme la vérité et à supposer que le premier rapport affirmait autre chose qu’une avance à cet instant. Ici, les deux observations sont conservées. La comparaison montre un changement d’ordre enregistré, pas le taux d’erreur d’un système de décision.

La source est également plus restreinte que ne le laisse entendre l’expression générale « tests A/B d’e-mails ». Parmi les paires admissibles, 5 647 étaient étiquetées nom de l’expéditeur et 96 thème. Les tests du nom de l’expéditeur représentent donc 98,3 % de cette analyse. Les résultats ne doivent pas être présentés comme une référence pour les objets d’e-mails ni comme une estimation valable pour toutes les plateformes.

Le graphique ci-dessous prend les 5 743 paires comme dénominateur, y compris les 1 031 initialement à égalité. Chaque parcours observé est ainsi visible. Les 991 inversions représentent 17,3 % de toutes les paires, mais 21,0 % des 4 712 présentant une avance initiale. Les deux chiffres sont justes : ils répondent à des questions différentes.

Un rapport à égalité après une heure n’a pas de version en tête susceptible de conserver ou de perdre sa place. Dans cette archive, 588 des 1 031 égalités initiales ont ensuite été départagées, tandis que 443 sont restées des égalités. Cela représente 57,0 % des égalités initiales. Ce chiffre ne doit pas être ajouté au pourcentage d’inversions, qui part d’un autre groupe.

Beaucoup d’égalités initiales présentaient aussi peu d’activité enregistrée. Pour 655 des 1 031 paires à égalité, les deux compteurs de clics uniques de la première heure étaient à zéro. D’autres égalités pouvaient correspondre à des compteurs positifs avec des rapports exactement égaux. Nous déterminons l’égalité à partir des compteurs et des totaux d’envoi sous-jacents, et non de pourcentages arrondis dans un graphique. ^[3]

Pour l’équipe qui prépare un rapport, cela distingue « aucune version n’est en tête selon la mesure enregistrée » de « les deux versions ont la même efficacité ». La première affirmation est une observation à un instant donné. La seconde exigerait des éléments que cette comparaison descriptive ne fournit pas. Le fait que certaines égalités aient été départagées plus tard n’établit pas quelle version aurait dû être choisie auparavant.

Un court calcul avec les effectifs réels de l’archive permet de vérifier le dénominateur. Divisez 588 par 1 031 pour décrire ce qui est arrivé aux égalités initiales. Divisez 991 par 4 712 pour décrire les inversions parmi les paires présentant une avance initiale. Ne divisez l’un ou l’autre de ces effectifs par 5 743 que si la question porte sur toutes les paires admissibles. L’intitulé du rapport doit préciser le groupe de départ.

Les 991 paires ayant changé de version en tête présentaient un écart absolu médian de 0,062 clic enregistré pour 100 envois à la première heure, puis de 0,110 à 24 heures. Il s’agit de différences entre les mesures enregistrées des deux versions, pas de personnes supplémentaires, d’achats attribués ou de variations du chiffre d’affaires en pourcentage. ^[3]

Le nombre d’envois au dénominateur compte pour lire cet écart. Une différence entre compteurs bruts de clics ne suffit pas à comparer des versions dont les totaux d’envoi diffèrent. Il faut d’abord diviser chaque compteur par son propre total d’envois déclaré. Un écart de 0,110 dans cette mesure ne doit pas non plus être décrit comme une amélioration relative de 0,110 % : c’est une différence absolue sur l’échelle pour 100 envois, sans valeur commerciale associée.

La taille de l’écart ultérieur variait. Pour les paires ayant changé de version en tête, la moitié centrale se situait entre environ 0,025 et 0,336 clic enregistré pour 100 envois. La médiane décrit donc une position typique dans ce groupe ; elle ne signifie pas que toutes les inversions portaient sur de petits écarts. L’ordre peut changer avec un faible écart, et certains écarts enregistrés étaient bien plus grands.

Les autres parcours donnent du contexte. Les paires ayant conservé leur avance présentaient un écart médian ultérieur de 0,291. Pour celles passées d’une égalité à une avance, il était de 0,444. Par définition, une égalité ultérieure a un écart exactement nul. Le tableau réunit les cinq parcours au lieu de mettre uniquement les inversions en avant.

Les colonnes initiale et ultérieure contiennent des médianes calculées séparément dans chaque ligne. Elles ne suivent pas une paire typique, et les soustraire ne donne pas la variation médiane entre les paires. Lisez-les comme des résumés de l’écart à chaque moment d’observation. Pour décrire le sens de la comparaison, associez l’intitulé du parcours à sa taille.

Ces groupes sont définis par ce qui s’est produit aux deux moments. Leurs écarts médians ne peuvent pas servir de règles pour anticiper une inversion dans une nouvelle campagne. En particulier, la médiane initiale plus faible parmi les paires ayant changé de version en tête n’est pas un seuil validé pour décider quand on peut agir en toute sécurité à partir d’un rapport.

Les compteurs doivent accompagner l’écart. Parmi les 4 712 paires avec une avance à la première heure, la médiane du compteur cumulé de clics uniques des deux versions était de neuf. Pour 488 de ces paires, le compteur cumulé était exactement égal à un. Cela décrit les données de départ des paires présentant une avance ; cela ne montre pas que ces paires précises expliquent le nombre d’inversions ni que de faibles compteurs expliquent les changements.

Nous avons fixé des comparaisons supplémentaires avant de calculer les résultats. En partant de 30 minutes plutôt que de 60, on obtenait 4 507 paires avec une avance initiale. Parmi elles, 24,3 % avaient changé de version en tête à 1 440 minutes. Le résultat de la première heure était de 21,0 % parmi 4 712 paires avec une avance. Les dénominateurs différents comptent : certaines paires étaient à égalité à un moment et départagées à l’autre. ^[4]

Cela ne démontre pas qu’attendre 30 minutes de plus évite une certaine proportion de mauvaises décisions. Les deux calculs décrivent des ordres observés après des durées différentes. Ils n’attribuent pas aléatoirement une politique d’attente et n’évaluent pas les conséquences du choix d’une version à envoyer.

Nous avons aussi limité la comparaison de la première heure aux 686 paires dont les deux versions avaient des horodatages d’envoi enregistrés identiques. Parmi les 560 présentant une avance initiale, 19,6 % ont changé de version en tête plus tard. Cette vérification réduit une différence de calendrier dans les données enregistrées. Des horodatages identiques ne prouvent ni une livraison simultanée ni une exposition équivalente des audiences.

Certains identifiants client contribuent beaucoup plus de paires que d’autres. Le calcul principal donne le même poids à chaque paire. Une vérification distincte calcule d’abord la proportion d’inversions pour chacun des 403 identifiants client avec au moins une avance à la première heure, puis donne le même poids à chaque identifiant. La moyenne est de 19,2 %. C’est la moyenne de leurs proportions d’inversions, pas le pourcentage de clients ayant connu une inversion. ^[4]

Ensemble, ces vérifications fixées à l’avance conservent la question pratique : une avance initiale observée peut se maintenir, s’inverser ou devenir une égalité. Elles ne donnent pas une probabilité universelle d’inversion. L’archive comporte des enregistrements répétés au sein des identifiants client, et ceux-ci ne constituent pas un échantillon vérifié d’entreprises indépendantes.

Un rapport utile commence par la décision à prendre. Son destinataire choisit-il le prochain envoi, documente-t-il un test terminé ou examine-t-il des tests passés pour une réunion de planification ? Une observation de la première heure peut servir aux trois tâches, mais un rapport préparé pour l’une peut omettre des informations nécessaires à une autre.

Nommez la variable testée et la mesure avant de nommer la version en tête. Ici, il s’agit du nom de l’expéditeur ou du thème, puis du compteur de clics uniques pour 100 envois déclarés. Une équipe qui utilise les e-mails livrés, les clics humains vérifiés ou les achats doit indiquer sa propre définition. Garder la mesure visible facilite aussi la lecture des comparaisons ultérieures.

Placez ensuite le moment d’observation à côté de l’avance ou de l’égalité. Ajoutez la différence entre les deux mesures ainsi que les compteurs et totaux d’envoi des deux versions. La personne qui lit le rapport voit alors un sens, un écart et l’activité enregistrée qui les sous-tend, sans devoir tout déduire d’une ligne mise en évidence.

Une phrase illustrative pour transmettre le rapport pourrait être : « À [moment d’observation], [version ou égalité] décrit l’ordre actuel selon [mesure définie] ; l’écart est de [valeur], sur la base de [compteurs et totaux d’envoi]. » Les crochets sont des champs à remplir à partir d’un vrai rapport, pas des résultats de campagnes de cette étude. Une autre phrase doit préciser l’action choisie et sa raison.

Si une observation ultérieure est disponible, conservez la première et montrez si l’avance s’est maintenue, inversée ou transformée en égalité. Une revue rétrospective peut ainsi distinguer ce qui était connu à l’époque de ce qui a été enregistré ensuite. Incluez aussi les paires initialement à égalité, sauf si le rapport porte expressément sur les seules paires déjà départagées.

Le choix d’une version dépend toujours de l’objectif de la campagne, des contraintes de livraison, de la qualité de la mesure et du coût de chaque option. L’archive ne fixe pas cette règle. Elle donne une raison concrète d’éviter qu’un seul mot, « gagnant », remplace à la fois l’observation et la décision.

Des travaux antérieurs considèrent déjà que la performance d’un e-mail se déploie dans le temps. « Real-Time Evaluation of E-mail Campaign Performance », de Bonfrer et Drèze, publié en ligne en 2008 puis dans Marketing Science en 2009, décrit une méthode prédictive et un cadre de décision séquentielle évalués sur 25 campagnes. L’idée générale selon laquelle les résultats précoces et ultérieurs peuvent différer n’est pas nouvelle. ^[5]

Cette analyse répond à une question descriptive plus précise à partir d’une autre archive : à quelle fréquence l’ordre enregistré s’est-il maintenu, inversé ou transformé en égalité dans les paires admissibles, et quels écarts accompagnaient ces parcours ? Elle garde les égalités initiales visibles et vérifie si le bilan change avec des choix de calendrier et de pondération fixés à l’avance.

Cette distinction compte pour lire les résultats. Un modèle prédictif tente d’estimer la suite sous ses hypothèses. Nos tableaux décrivent ce que contiennent les enregistrements publiés à des moments définis. Les pourcentages observés peuvent guider la manière d’expliquer un rapport ; ils ne constituent pas un modèle pour choisir la version de la prochaine campagne.

SendGuard900K contient 908 229 enregistrements de campagnes publiés. Sa description indique des métadonnées de production de 2022–2024. Nous avons examiné 6 801 groupes identifiés par la combinaison de l’identifiant client et de l’identifiant de test, puis conservé 5 743 groupes avec exactement deux enregistrements admissibles observés de variantes de test et des nombres d’envois déclarés positifs. Les enregistrements de l’envoi final ont été exclus de la comparaison des paires ; leur présence n’était pas exigée. ^{[1] [6]}

Les paires conservées couvrent 473 identifiants client. Exactement deux enregistrements admissibles observés ne permettent pas d’établir que chaque expérience d’origine ne comportait que deux variantes configurées, que son archive est complète ou que les audiences ont été réparties aléatoirement. Nous décrivons donc des paires observées, pas une collection vérifiée d’expériences randomisées complètes.

Pour chaque version, le calcul utilise son compteur de clics uniques à 30, 60 ou 1 440 minutes et le même dénominateur archivé d’envois déclarés. Chaque moment est mesuré par rapport à l’envoi de cette version. Les deux versions d’une paire principale n’ont pas nécessairement la même heure d’envoi. La vérification des horodatages identiques est une restriction distincte, pas une hypothèse appliquée à chaque paire.

Tous les compteurs nécessaires des paires admissibles étaient disponibles, valides et non négatifs ; aucun ne dépassait son nombre d’envois déclaré. Aucun compteur n’a diminué entre les trois moments. Ces vérifications étayent l’arithmétique enregistrée, mais ne permettent pas d’établir la définition d’un clic unique, le filtrage des robots, la livraison ou la prise en compte de toutes les réponses futures dans les observations ultérieures. ^[6]

Nous déterminons les avances et les égalités en comparant exactement les rapports sous-jacents avant arrondi. Les écarts sont des différences absolues en clics enregistrés pour 100 envois. Les médianes et autres quantiles suivent la méthode du rang supérieur : les valeurs sont triées et le rang prescrit est sélectionné, sans interpolation. Les figures arrondissent les pourcentages à une décimale et les écarts médians à trois ; le fichier des figures conserve six décimales lorsque cela s’applique.

La méthode a fixé la structure admissible, les moments d’observation, les cinq parcours, les résumés des compteurs et des écarts, les vérifications temporelles et le calcul à poids égal par client avant lecture des résultats. Tous les tableaux agrégés prévus restent dans le téléchargement de recherche, y compris les zéros et les contrôles de qualité. Une reproduction indépendante depuis la source a retrouvé l’ensemble des résultats agrégés. Ce sont des résultats descriptifs de l’archive, sans intervalles de confiance, tests de significativité ou prétention à représenter le secteur. ^[7]