Tests multivariés : ce que vos variantes permettent de comparer

Nous avons examiné les combinaisons de titres et d’images dans chaque test du site d’Upworthy. Sur les 3 212 tests respectant les règles du périmètre principal, 188 faisaient varier les deux éléments. La plupart des autres n’en faisaient varier qu’un. Nous avons traité chaque test séparément et l’avons compté une seule fois, quel que soit le nombre de personnes susceptibles de l’avoir vu. ^[2]

Seuls 31 des 188 tests contenaient toutes les combinaisons de leurs titres et identifiants d’image observés. Les 157 autres formaient des grilles incomplètes. Cela paraît restrictif, jusqu’à ce qu’on regarde les comparaisons qui restent possibles. Parmi ces 157 plans, 75 permettaient de comparer des titres avec la même image et des images avec le même titre. Trente autres offraient seulement le premier type, et 45 seulement le second. Sept n’offraient aucun des deux.

Au total, 150 des 157 plans incomplets, soit 95,5 %, conservaient au moins une façon de comparer un élément en gardant l’autre identique. Cela ne prouve ni un trafic suffisant, ni une affectation correcte, ni un résultat pertinent. Cela montre pourquoi « toutes les combinaisons n’ont pas été testées » est un motif trop général pour écarter un plan.

Le tableau réunit les plans complets et incomplets. Sur les 188, 106 contenaient les deux types de comparaison, 30 uniquement des comparaisons de titres, 45 uniquement des comparaisons d’images et sept aucun des deux types. « Les deux » signifie au moins une comparaison de chaque type. Cela ne signifie pas que tous les titres ou toutes les images se comparent dans les mêmes conditions.

L’article d’origine explique déjà que les rédacteurs choisissaient souvent des versions sans tester toutes les combinaisons possibles. Notre contribution est de recenser les comparaisons que ces choix laissaient disponibles. Nous ne pouvons ni reconstituer l’objectif de chaque rédacteur ni juger si son plan y répondait. ^[1]

Imaginez un atelier de poterie qui fait la promotion d’un cours le week-end. Il dispose de deux titres : A, « Créez votre premier bol en céramique », et B, « Passez votre samedi au tour de potier ». L’image 1 montre un bol terminé ; l’image 2 montre le tour. Ces choix sont fictifs : ce ne sont ni des exemples d’Upworthy ni des résultats de campagne mesurés. Gardons la même offre et les mêmes autres textes affichés pour examiner trois plans possibles.

Première possibilité : la grille complète associe A à l’image 1, A à l’image 2, B à l’image 1 et B à l’image 2. L’équipe peut comparer les titres avec l’image 1, puis refaire cette comparaison avec l’image 2. Elle peut aussi comparer les images sous chacun des titres. Ces quatre cases ouvrent des possibilités ; elles ne disent pas combien d’observations seront recueillies dans chaque case.

Deuxième possibilité : la grille partielle contient A avec l’image 1, B avec l’image 1 et B avec l’image 2. A avec l’image 2 est absent. L’équipe peut comparer A et B en gardant l’image 1 identique. Elle peut aussi comparer les images en gardant le titre B identique. La case manquante ne supprime pas ces deux comparaisons.

Mais une comparaison directe entre quatre cases ne peut plus répondre à une autre question : l’écart entre A et B serait-il le même avec l’image 2 ? Aucun résultat pour A avec l’image 2 n’est disponible. L’équipe ne peut pas non plus désigner la meilleure des quatre versions possibles en choisissant seulement parmi les trois observées. La version non testée pourrait se comporter autrement.

Troisième possibilité : le plan diagonal ne contient que A avec l’image 1 et B avec l’image 2. Aucun des deux éléments ne reste identique entre les versions. Un test valide pourrait néanmoins aider à choisir entre ces deux versions complètes. Cette seule comparaison ne permettrait pas de séparer la contribution du titre de celle de l’image.

Aucun de ces plans n’est préférable dans tous les cas. Si l’atelier doit choisir entre deux concepts validés pour un lancement précis, comparer les versions complètes peut répondre à son besoin. S’il souhaite réutiliser un titre avec plusieurs images, il lui faut des éléments de preuve adaptés à cette décision plus large. Les combinaisons supplémentaires ont leur place lorsqu’elles répondent à une vraie question de l’équipe. ^[3]

L’archive rend cette distinction concrète. Sur les 106 plans qui contenaient les deux types de comparaison, 74 ne comportaient même pas un rectangle complet de deux titres et deux images. Un plan peut donc proposer une comparaison de titres à un endroit et une comparaison d’images à un autre, sans fournir les quatre cases nécessaires pour comparer directement leurs écarts.

Reprenons la grille partielle de l’atelier. Comparer A et B avec l’image 1 répond à une question. Comparer les images 1 et 2 sous B en traite une autre. Ni l’une ni l’autre ne dit si l’écart entre les titres change lorsque l’image change. Cette troisième question porte sur une interaction : la relation entre un élément et la réponse mesurée dépend-elle de l’autre élément ?

Parmi les 188 plans, 32 contenaient au moins un rectangle complet : les 31 grilles complètes et une grille incomplète plus grande. Ce rectangle permet de construire une comparaison directe pour étudier l’interaction. Il ne démontre pas qu’une interaction existe. Ce n’est pas non plus la seule base possible pour l’étudier avec d’autres plans ou hypothèses de modélisation.

Pour une équipe de campagne, cette distinction doit figurer dans le brief avant d’entrer dans un modèle statistique. « Comparer ces deux titres avec cette image » est une demande plus étroite que « trouver un titre qui fonctionne avec nos différentes images ». Un résultat qui répond à la première question ne doit pas devenir, sans explication, la réponse à la seconde.

L’inventaire principal exclut les tests dont la période entre la première et la dernière date de création recoupe l’intervalle du 25 juin 2013 au 10 janvier 2014. Les chercheurs de l’archive ont signalé de possibles problèmes d’affectation pendant cette période. Ces problèmes comptent pour la recherche de causes et d’effets ; ils ne rendent pas les combinaisons inutilisables pour un inventaire de structure. Nous avons donc aussi répété la comparaison en incluant cette période. ^[4]

Ce périmètre élargi contient 239 tests faisant varier les deux éléments. Quarante contiennent toutes les combinaisons ; 199 sont incomplets. Parmi ces derniers, 180, soit 90,5 %, conservent au moins une comparaison avec un élément identique, et 93, soit 46,7 %, conservent les deux types. Les proportions correspondantes du périmètre principal sont 95,5 % et 47,8 %. Elles changent, mais les plans incomplets gardent fréquemment une comparaison précise.

Nous avons également vérifié un choix de traitement du texte. L’analyse principale compare exactement les chaînes de caractères des titres et des extraits. Supprimer les caractères d’espacement en début et en fin de texte, puis regrouper ceux qui se suivent, donne 189 tests faisant varier les deux éléments : 31 grilles complètes, 108 plans avec les deux types de comparaison et 32 avec un rectangle complet. Cette vérification modifie les tests retenus ; les nombres sont donc présentés avec leur propre dénominateur. ^[5]

La couverture médiane est de 50 % dans les trois périmètres. La couverture correspond au nombre de combinaisons titre-image observées, divisé par le nombre possible à partir des titres et identifiants d’image présents dans le test. La médiane est une description, pas une note de qualité. Une combinaison absente pouvait être inutile, inadaptée ou extérieure à la comparaison souhaitée par le rédacteur. L’archive ne permet pas de trancher la raison de son omission.

Pour l’atelier de poterie, commencez par la décision qui suivra le test. L’équipe veut-elle choisir une promotion complète du cours, conserver une image et retravailler son titre, ou réutiliser un titre dans plusieurs futures créations ? Chaque décision appelle des comparaisons différentes. Une grille plus grande n’est pas automatiquement un meilleur usage des efforts de l’équipe.

Si la décision concerne des versions complètes, listez-les sans promettre d’expliquer chaque composant. Si elle porte sur un titre, précisez quelle image restera identique. Si l’équipe veut savoir si l’écart entre les titres change selon deux images, incluez les quatre combinaisons correspondantes ou faites concevoir une autre approche justifiée. Traitez séparément le choix de la mesure de réponse, de l’affectation et de la période d’observation.

Vérifiez la cohérence des combinaisons avant de les ajouter. Un titre lié à une offre précise peut ne convenir qu’à une seule image de produit. Créer une association inadaptée uniquement pour remplir la grille changerait la tâche. L’équipe peut plutôt préciser la question ou développer des versions qui se combinent de façon cohérente. Une grille complète est utile quand ses comparaisons servent la décision, pas parce qu’un tableau rempli paraît plus rigoureux.

Utilisez les champs suivants pour préparer un brief court. Le texte entre crochets est à compléter pour votre campagne ; il ne correspond pas à un résultat de cette étude.

Décision après le test : [choisir une version complète ; comparer un élément nommé dans un contexte précis ; examiner une combinaison déterminée d’éléments].

Éléments et versions : [textes exacts des titres ; fichiers d’image ou identifiants stables ; tout autre contenu qui change].

Versions incluses : [associations titre-image qui seront effectivement affichées].

Comparaisons nécessaires : [paires qui gardent un élément identique ; quatre cases permettant d’étudier la question d’interaction, le cas échéant].

Plan de recueil des données : [mesure de réponse ; audience et affectation ; conditions d’exposition ; période d’observation et règle d’examen prévues].

Portée de la conclusion : [ce que le plan pourrait établir ; combinaisons ou contextes non testés qui restent hors de la décision].

Par exemple, un atelier utilisant le plan partiel à trois cases peut écrire : « Nous comparerons les titres avec l’image 1 et les images avec le titre B. Nous ne testerons pas le titre A avec l’image 2. » Cette phrase rend visibles les deux questions utiles et la comparaison absente, sans déclarer le plan insuffisant.

Un créateur qui travaille pour un client peut faire la même distinction lors d’une discussion sur une nouvelle miniature et un nouveau titre. La question est de savoir quelle version ou quel élément le client souhaite choisir. Nos nombres proviennent toutefois du site d’un éditeur. Ils n’établissent pas comment une plateforme sociale actuelle affecte ou mesure les variantes créatives.

La source est le fichier exploratoire public de l’Upworthy Research Archive, présenté par J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere et Charles Ebersole. Il contient 22 666 lignes de versions, regroupées en 4 873 tests issus de l’archive historique de 2013–2015. Nous avons utilisé le titre, l’identifiant d’image, l’extrait, l’identifiant du test, l’horodatage de création et l’index de ligne de l’archive. Les clics, impressions et choix éditoriaux n’ont pas été utilisés. ^{[1] [6]}

Une vérification préalable de la faisabilité structurelle a précédé le plan final de l’analyse et a contribué à définir sa question. Il s’agit donc d’une nouvelle analyse exploratoire, et non d’une étude confirmatoire préenregistrée. Les règles retiennent les tests dont les champs structurels sont exploitables, appliquent la restriction de dates et exigent un texte d’extrait identique entre les versions. Cette dernière restriction est prudente : l’article et la documentation de l’archive ne s’accordent pas sur l’affichage de ce champ. ^[6]

Le tableau de sélection présente les exclusions successives, puis la répartition des tests retenus. Cinq tests n’ont pas de titre ou d’identifiant d’image ; 1 050 sont ensuite exclus par la règle de dates et 606 présentent des extraits différents. Les 3 212 tests conservés comprennent 1 624 tests où seuls les titres varient, 1 078 où seuls les identifiants d’image varient, 188 où les deux varient et 322 avec une seule combinaison observée. Cette dernière catégorie peut encore contenir plusieurs lignes sources.

Dans un test, une paire titre-image identique répétée ne compte qu’une seule fois comme case. Cinq des 188 tests où varient les deux éléments contiennent de telles répétitions. Une grille complète contient toutes les associations des textes de titre et des identifiants d’image observés dans ce test. Des chaînes de caractères différentes n’expriment pas nécessairement des idées différentes, et des identifiants d’image différents ne représentent pas forcément des images visuellement distinctes : les fichiers d’image sont indisponibles.

Les résultats donnent le même poids à chaque plan, sans pondérer des personnes, des impressions ou des entreprises. Ils n’établissent ni les pratiques marketing actuelles, ni les performances, ni la puissance statistique. Les fichiers à télécharger fournissent les résultats agrégés et la méthode de reproduction, y compris les deux vérifications de périmètre. Les lecteurs peuvent ainsi distinguer une combinaison observée de la conclusion qui en est tirée. ^[7]