Test multivariati: cosa può dirti un test delle creatività

Cambiare insieme un titolo e un’immagine può aiutarti a scegliere una creatività finale. Per capire il contributo di ciascun elemento serve un confronto diverso. I disegni storici di Upworthy mostrano quanto resta possibile anche quando mancano alcune combinazioni.

Analisi di Influence IQ del sottoinsieme esplorativo dell’Upworthy Research Archive, con esperimenti su siti web dall’inizio del 2013 ad aprile 2015. Il confronto principale comprende 188 test idonei che variavano sia il testo dei titoli sia gli ID delle immagini. È un inventario dei disegni dei test, non un’analisi dei clic o dei risultati delle campagne.

Sintesi

Un disegno multivariato incompleto può comunque conservare confronti separati tra titoli o immagini. Tra 188 test Upworthy idonei che variavano sia il testo dei titoli sia gli ID delle immagini, 31 contenevano ogni combinazione. Degli altri 157, 150 contenevano almeno 1 confronto che manteneva fisso il titolo o l’immagine; 75 contenevano entrambi i tipi. Questi conteggi descrivono le combinazioni presenti, non se i test abbiano prodotto risultati di performance affidabili o utili. [1]

Lo studio usa un sottoinsieme storico esplorativo di esperimenti su siti web dall’inizio del 2013 ad aprile 2015, mantiene costante il testo dell’estratto ed esclude dall’ambito principale un periodo documentato di possibili problemi di assegnazione. Includendo quel periodo, l’indicazione generale resta la stessa: 180 di 199 disegni incompleti conservano almeno 1 confronto di questo tipo. Per aziende e creator, la scelta pratica è adattare le combinazioni alla domanda: scegliere una creatività completa, confrontare 1 elemento o esaminare come 2 elementi funzionano insieme.

Il tuo team ha pronte 2 versioni di una campagna. Una abbina l’immagine di un prodotto a un titolo diretto; l’altra usa un’immagine diversa e un titolo più colloquiale. Se una ottiene risultati migliori, che cosa avrai imparato?

Un confronto ben condotto può aiutarti a scegliere tra quelle versioni finali. Da solo, però, non mostra quale cambiamento abbia fatto la differenza. Un test multivariato varia più di 1 elemento in un insieme di combinazioni. La domanda iniziale utile è quale decisione vuoi che quelle combinazioni ti aiutino a prendere.

Il solo numero di versioni non risponde alla domanda. 4 versioni del titolo abbinate a 1 immagine permettono al team di confrontare i titoli in quel contesto. Anche 2 titoli abbinati a 2 immagini danno 4 versioni creative quando si include ogni abbinamento, ma consentono confronti diversi. Scrivere gli abbinamenti rende visibile la distinzione prima dell’inizio del test.

Una creatività finale contiene diverse scelte

Illustrazione concettuale di schede di campagne assemblate con moduli separati di testo e immagini.
Illustrazione concettuale senza parole. Le schede rappresentano componenti creative, non versioni effettive di Upworthy, risultati misurati o un’interfaccia di prodotto.

I disegni incompleti conservavano spesso un confronto utile

Abbiamo esaminato le combinazioni di titoli e immagini nei singoli test del sito Upworthy. Dei 3.212 test che rispettavano le regole dell’ambito principale, 188 variavano entrambi gli elementi. La maggior parte dei test restanti ne variava solo 1. Abbiamo mantenuto separato ogni test e lo abbiamo contato 1 volta, indipendentemente da quante persone potessero averlo visto. [2]

Solo 31 dei 188 contenevano ogni combinazione dei titoli e degli ID delle immagini osservati. Gli altri 157 erano griglie incomplete. Sembra un limite restrittivo, finché non ci si chiede quali confronti restassero possibili al loro interno. Di quei 157 disegni, 75 offrivano sia un confronto tra titoli con la stessa immagine sia un confronto tra immagini con lo stesso titolo. Altri 30 offrivano solo il primo tipo e 45 solo il secondo. 7 non offrivano nessuno dei due.

Nel complesso, 150 dei 157 disegni incompleti, pari al 95,5%, conservavano almeno 1 modo di confrontare un elemento mantenendo fisso l’altro. Questo non dimostra che un confronto avesse traffico sufficiente, un’assegnazione corretta o un risultato rilevante. Mostra però perché «non sono state testate tutte le combinazioni» è una ragione troppo generica per scartare un disegno.

La tabella affianca disegni completi e incompleti. Su tutti i 188, 106 contenevano entrambi i tipi di confronto, 30 solo confronti tra titoli, 45 solo confronti tra immagini e 7 nessuno dei due. «Entrambi» significa almeno 1 confronto per tipo. Non significa che ogni titolo o immagine si possa confrontare alle stesse condizioni.

L’articolo originale sull’archivio spiega già che i redattori sceglievano spesso versioni creative senza testare ogni combinazione possibile. Il nostro contributo è questo inventario dei confronti che quelle scelte lasciavano disponibili. Non possiamo ricostruire l’obiettivo di ogni redattore né valutare se il disegno lo soddisfacesse. [1]

La maggior parte dei disegni che variavano entrambi gli elementi conservava un confronto tra componenti

188 test storici Upworthy idonei che variano il testo dei titoli e gli ID delle immagini, con testo dell’estratto costante e la restrizione sulle date specificata. Ogni test ha lo stesso peso.

Leggi i valori del grafico
Confronti presenti nel disegnoTestQuota dei 188 test
Confronti tra titoli e tra immagini10656,4%
Solo confronto tra titoli3016,0%
Solo confronto tra immagini4523,9%
Nessun confronto tra componenti73,7%
Le 4 categorie suddividono i 188 test. «Entrambi» significa almeno 1 confronto tra titoli con la stessa immagine e almeno 1 confronto tra immagini con lo stesso titolo, non ogni confronto possibile. I conteggi descrivono possibilità offerte dal disegno, non effetti, potenza o risultati di campagne.

3 disegni rispondono a domande diverse

Immagina un laboratorio di ceramica che promuove un corso per il fine settimana. Ha 2 titoli: A, «Crea la tua prima ciotola in ceramica», e B, «Passa il sabato al tornio». L’immagine 1 mostra una ciotola finita; l’immagine 2 mostra il tornio. Sono scelte illustrative, non esempi di Upworthy o risultati misurati di campagne. Mantieni invariati l’offerta e gli altri testi mostrati mentre consideri 3 possibili disegni.

Primo: la griglia completa contiene A con l’immagine 1, A con l’immagine 2, B con l’immagine 1 e B con l’immagine 2. Il team può confrontare i titoli mantenendo fissa l’immagine 1, poi ripetere lo stesso confronto con l’immagine 2. Può anche confrontare le immagini per ciascun titolo. 4 celle offrono queste possibilità; non stabiliscono quante evidenze verranno raccolte in ogni cella.

Secondo: la griglia parziale contiene A con l’immagine 1, B con l’immagine 1 e B con l’immagine 2. Manca A con l’immagine 2. Il team può confrontare A e B mantenendo fissa l’immagine 1. Può confrontare separatamente le immagini mantenendo fisso il titolo B. La cella mancante non elimina questi 2 confronti.

La griglia parziale lascia però un’altra domanda senza risposta tramite un confronto diretto a 4 celle: la differenza tra A e B sarebbe la stessa con l’immagine 2? Non c’è un risultato di A con l’immagine 2 da usare. Il team non può neppure identificare la migliore di tutte le 4 versioni possibili scegliendo solo tra le 3 osservate. La versione non testata potrebbe comportarsi diversamente.

Terzo: il disegno diagonale contiene solo A con l’immagine 1 e B con l’immagine 2. Nessuno dei due elementi resta fisso tra le 2 versioni creative. Un test valido potrebbe comunque supportare la scelta tra queste 2 versioni finali. Quel confronto da solo non identificherebbe separatamente il contributo del titolo o dell’immagine.

Non esiste un disegno universalmente migliore degli altri. Se il laboratorio deve scegliere tra 2 idee approvate per un lancio specifico, confrontare le versioni creative può essere adatto al compito. Se vuole riutilizzare un titolo con immagini diverse, servono evidenze pertinenti a quella scelta più ampia. Le combinazioni aggiuntive trovano posto quando rispondono a una domanda che il team si pone davvero. [3]

3 disegni illustrativi includono combinazioni diverse

Un esempio fittizio di un laboratorio di ceramica con 2 titoli, A e B, e 2 immagini, 1 e 2. Queste celle illustrano disegni, non sono osservazioni dell’archivio.

Leggi i valori del grafico
Combinazione di titolo e immagineGriglia completaGriglia parzialeDisegno diagonale
Titolo A + immagine 1111
Titolo A + immagine 2100
Titolo B + immagine 1110
Titolo B + immagine 2111
1 significa incluso; 0 significa non incluso. Il disegno completo ha tutte e 4 le celle. Quello parziale omette A con l’immagine 2. Quello diagonale confronta 2 versioni creative che differiscono in entrambi gli elementi. Non sono assegnati valori di performance.

Un confronto in ciascuna direzione non è un test 2×2 completo

L’archivio rende concreta questa distinzione. Dei 106 disegni che contenevano entrambi i tipi di confronto, 74 non contenevano neppure 1 rettangolo completo con 2 titoli e 2 immagini. Un disegno può quindi offrire un confronto tra titoli in un punto e uno tra immagini altrove, senza fornire le 4 celle necessarie per confrontarne direttamente le differenze.

Considera di nuovo la griglia parziale del laboratorio. Confrontare A e B con l’immagine 1 pone una domanda. Confrontare l’immagine 1 e l’immagine 2 con B ne pone un’altra. Nessuno dei due confronti dice se la differenza tra titoli cambi quando cambia l’immagine. Questa terza domanda riguarda un’interazione: se la relazione tra un elemento e la risposta dipenda dall’altro elemento.

Nell’insieme di 188 disegni, 32 contenevano almeno 1 rettangolo completo. Sono inclusi tutti i 31 disegni a griglia completa e 1 griglia incompleta più grande. Un simile rettangolo offre una base per costruire un contrasto diretto d’interazione. Non dimostra che esista un’interazione e non è l’unica base possibile per studiarla con altri disegni o ipotesi di modellizzazione.

Per un team che gestisce campagne, la distinzione va inserita nel brief prima che in un modello statistico. «Confronta questi 2 titoli con questa immagine» è una richiesta più circoscritta di «trova un titolo che funzioni con tutte le nostre immagini». Un risultato che risponde alla prima domanda non dovrebbe diventare implicitamente la risposta alla seconda.

L’intervallo di date più ampio dà la stessa indicazione per pianificare

L’inventario principale esclude i test il cui intervallo delle date di creazione tocca il periodo dal 25 giugno 2013 al 10 gennaio 2014. I ricercatori dell’archivio hanno identificato possibili problemi di assegnazione in quel periodo. Sono problemi rilevanti per la ricerca sui rapporti di causa ed effetto; non rendono inutilizzabili le registrazioni delle combinazioni per un inventario strutturale. Abbiamo quindi ripetuto il confronto includendo anche quel periodo. [4]

L’ambito più ampio contiene 239 test che variano entrambi gli elementi. 40 contengono ogni combinazione, mentre 199 sono incompleti. Tra questi disegni incompleti, 180, pari al 90,5%, conservano almeno 1 confronto mantenendo fisso 1 elemento e 93, pari al 46,7%, conservano entrambi i tipi. Le percentuali corrispondenti nell’ambito principale sono 95,5% e 47,8%. Le quote esatte cambiano, ma i disegni incompleti conservano comunque spesso un confronto specifico.

Abbiamo verificato anche una scelta di trattamento del testo. L’analisi principale confronta esattamente le stringhe dei titoli e degli estratti. Rimuovendo gli spazi bianchi iniziali e finali e riducendo quelli ripetuti a uno solo, si ottengono 189 test che variano entrambi gli elementi: 31 griglie complete, 108 con entrambi i tipi di confronto e 32 con un rettangolo completo. Questa verifica cambia quali disegni risultano idonei, quindi i suoi conteggi sono mostrati con un denominatore proprio. [5]

La copertura mediana è del 50% in tutti e 3 gli ambiti. La copertura è il numero di combinazioni titolo-immagine osservate diviso per il numero di quelle possibili usando i titoli e gli ID delle immagini osservati in quel test. La mediana è una descrizione, non un punteggio di qualità. Una combinazione mancante poteva essere irrilevante, inadatta o esterna al confronto previsto dal redattore; l’archivio non chiarisce perché sia stata omessa.

Cambiare l’ambito conserva la distinzione tra copertura e confronti

Tutte le colonne contano test, con ogni riga che usa il proprio denominatore di test che variano entrambi gli elementi. La verifica sul trattamento del testo mantiene la restrizione principale sulle date; quella su tutti i periodi mantiene il trattamento esatto del testo.

Leggi i valori del grafico
Ambito dell’analisiTest che cambiano entrambi gli elementiGriglie completeEntrambi i tipi di confrontoAlmeno 1 disegno 2×2 completo
Ambito principale: testo esatto, restrizione sulle date1883110632
Testo con spazi bianchi normalizzati, restrizione sulle date1893110832
Testo esatto, tutti i periodi inclusi2394013342
Queste colonne si sovrappongono e non vanno sommate. Ogni griglia completa contiene entrambi i tipi di confronto e un 2×2 completo, ma il contrario non ne consegue. L’inventario su tutti i periodi è solo strutturale; includere il periodo documentato a rischio di assegnazione non equivale ad approvarne l’analisi causale.

Imposta il brief del prossimo test sulla decisione da prendere

Per il laboratorio di ceramica, parti dalla decisione su cosa accadrà dopo il test. Il team sceglierà 1 versione finale della promozione del corso, manterrà 1 immagine modificandone il titolo o porterà un titolo in diversi disegni futuri? Ogni decisione richiede un insieme diverso di confronti. Una griglia più grande non è automaticamente un uso migliore del lavoro del team.

Se la decisione riguarda versioni creative finali, elencale senza promettere una spiegazione di ogni componente. Se riguarda un titolo, identifica l’immagine che resterà fissa. Se il team deve esaminare se una differenza tra titoli cambia con 2 immagini, includi le 4 combinazioni pertinenti oppure adotta un disegno alternativo giustificato. Mantieni questo aspetto separato dalla scelta della misura di risposta, dell’assegnazione e del periodo di osservazione.

Prima di aggiungere le combinazioni proposte, verifica che abbiano senso. Un titolo specifico per un’offerta potrebbe essere adatto a 1 sola immagine del prodotto. Creare un abbinamento inadatto solo per riempire una griglia cambierebbe il compito. Il team può invece circoscrivere la domanda o sviluppare versioni abbinabili in modo sensato. Una griglia completa è utile quando i suoi confronti servono alla decisione, non perché una tabella piena sembri più approfondita.

Usa i campi seguenti come breve schema di pianificazione. Il testo tra parentesi quadre riguarda la tua campagna, non un risultato di questo studio.

Decisione dopo il test: [scegliere una versione creativa finale; confrontare un elemento specificato in un contesto definito; esaminare una combinazione specificata di elementi].

Elementi e versioni: [testi esatti dei titoli; file delle immagini o ID stabili; altri contenuti che cambiano].

Versioni creative incluse: [le coppie titolo-immagine che verranno effettivamente mostrate].

Confronti necessari: [quali coppie mantengono fisso un elemento; quali 4 celle supportano la domanda sull’interazione, se pertinente].

Piano delle evidenze: [misura di risposta; pubblico e assegnazione; condizioni di esposizione; osservazione pianificata e regola di revisione].

Limiti della conclusione: [cosa potrebbe supportare il disegno; quali combinazioni o contesti non testati restano fuori dalla decisione].

Per esempio, un laboratorio che usa il disegno parziale a 3 celle può scrivere: «Confronteremo i titoli con l’immagine 1 e confronteremo le immagini con il titolo B. Non stiamo testando il titolo A con l’immagine 2». La frase mantiene visibili 2 domande utili e il confronto mancante, senza dichiarare inadeguato il disegno.

Un creator che prepara un lavoro per un cliente può usare la stessa distinzione quando discute una miniatura e un titolo modificati. La domanda è quale versione o elemento il cliente voglia scegliere. I nostri conteggi provengono però dal sito di un editore e non stabiliscono come una piattaforma social attuale assegni o misuri le varianti creative.

Affianca la domanda alle combinazioni

3 vassoi illustrati mostrano diverse coppie creative finali, un confronto tra titoli con la stessa immagine e una griglia di combinazioni a 4 schede.
  1. Scegli una creatività finale

    Confronta le versioni creative tra cui devi scegliere.

  2. Confronta 1 elemento

    Mantieni fisso l’altro elemento nel confronto che ti serve.

  3. Esamina l’abbinamento

    Includi le combinazioni necessarie per chiederti se una differenza tra titoli cambia con immagini diverse.

Illustrazione concettuale di 3 scelte di pianificazione. Le schede non riportano risultati di performance; le combinazioni precise dell’esempio sono elencate nella tabella accessibile.

Come è stato costruito l’inventario dei disegni

La fonte è il file esplorativo pubblico dell’Upworthy Research Archive, descritto da J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere e Charles Ebersole. Contiene 22.666 righe di versioni creative raggruppate in 4.873 test dell’archivio storico 2013–2015. Abbiamo usato titolo, identificativo dell’immagine, estratto, identificativo del test, timestamp di creazione e indice di riga dell’archivio. Non abbiamo usato clic, impressioni o selezioni redazionali. [1] [6]

Una verifica di fattibilità strutturale ha preceduto il piano finale dell’esame dei disegni e ne ha orientato la domanda. L’esame è quindi una rianalisi esplorativa, non uno studio confermativo preregistrato. Le regole specificate conservano i test con campi strutturali utilizzabili, applicano la restrizione principale sulle date e richiedono un testo dell’estratto identico tra le versioni creative. La restrizione sull’estratto è conservativa perché l’articolo e la documentazione dell’archivio non concordano sul fatto che quel campo fosse visualizzato. [6]

La tabella di selezione mostra le esclusioni successive, poi la suddivisione dei test idonei. A 5 test manca un titolo o un ID immagine; altri 1.050 non rispettano poi la regola sulle date e 606 hanno estratti diversi. I 3.212 test conservati comprendono 1.624 che variano solo i titoli, 1.078 che variano solo gli ID delle immagini, 188 che variano entrambi e 322 con 1 sola combinazione osservata. L’ultima categoria può comunque contenere più righe della fonte.

All’interno di un test, le coppie titolo-immagine identiche ripetute contano 1 volta come celle del disegno. 5 dei 188 test che variano entrambi gli elementi contengono celle ripetute. Una griglia completa contiene ogni abbinamento delle stringhe dei titoli e degli ID delle immagini osservati nel test. Stringhe diverse non esprimono necessariamente idee diverse e ID immagine diversi non rappresentano necessariamente immagini visivamente diverse; i file delle immagini non sono disponibili.

I risultati contano in modo uguale i disegni, non persone, impressioni o aziende. Non stabiliscono pratiche di marketing attuali, performance o potenza statistica. I download forniscono i risultati aggregati e il metodo di riproduzione, comprese entrambe le verifiche dell’ambito, così da permettere ai lettori di esaminare la distinzione tra una combinazione osservata e una conclusione che se ne ricava. [7]

Il confronto principale parte da 188 dei 3.212 test idonei

Selezione dai 4.873 test del file esplorativo pubblico. Le esclusioni si applicano nell’ordine mostrato. Le 4 categorie finali di disegno suddividono i 3.212 test idonei.

Visualizza le fasi di selezione e tutte le categorie idonee
Leggi i valori del grafico
Fase di selezione o categoria di disegno idoneoTest
Test esplorativi iniziali4873
Esclusi: titolo o ID immagine mancante5
Esclusi: intervallo di date di creazione specificato1050
Esclusi successivamente: testo dell’estratto variabile606
Idonei dopo le esclusioni3212
Idonei: titolo variabile, immagine fissa1624
Idonei: immagine variabile, titolo fisso1078
Idonei: titolo e immagine entrambi variabili188
Idonei: 1 sola combinazione osservata322
Leggi prima una sequenza, poi una suddivisione: 4.873 meno 5 meno 1.050 meno 606 fa 3.212. I 1.624 test con soli titoli variabili, i 1.078 con sole immagini variabili, i 188 con entrambi gli elementi variabili e i 322 con 1 sola combinazione sommano a 3.212. Non sommare tutte le righe. Non ci sono stati esiti negativi nei controlli sul numero minimo di bracci o sull’interpretazione delle date.

Il CSV include 41 valori delle 4 figure, con le celle illustrative del disegno sperimentale indicate separatamente dai conteggi e dalle quote osservati. Lo ZIP contiene risultati aggregati, record strutturali dei test e codice di analisi. Sono incluse istruzioni tradotte per riprodurre l’analisi; scarica separatamente l’archivio pubblico originale. Non sono inclusi esiti di clic o impressioni.

Fonti e note

  1. Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; ed Ebersole, Charles (2021), The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. L’analisi di Influence IQ usa il sottoinsieme esplorativo e la descrizione corretta della fonte. L’articolo originale spiega qualitativamente che i redattori spesso non testavano tutte le combinazioni di titoli e immagini.
  2. Denominatore principale dei test che variano entrambi gli elementi: 188 test. Griglie complete: 31; incomplete: 157. Il gruppo incompleto comprende 75 test con entrambi i tipi di confronto, 30 solo con confronti tra titoli, 45 solo con confronti tra immagini e 7 con nessuno dei due. Quindi 150/157 = 95,5% conservano almeno 1 tipo. «Confronto» identifica una possibilità strutturale, non un effetto stimato o un esperimento verificato come valido.
  3. I 3 disegni del laboratorio sono illustrativi. Un disegno completo a 2 fattori e 2 livelli contiene tutte e 4 le combinazioni. L’esempio parziale omette A con l’immagine 2; quello diagonale conserva solo A con l’immagine 1 e B con l’immagine 2. Un disegno a 4 celle da solo non dimostra la qualità dell’assegnazione, l’adeguatezza della numerosità campionaria o un’interazione rilevante. Il manuale del NIST spiega i disegni fattoriali completi e le loro combinazioni.
  4. La correzione dell’archivio di giugno 2024 identifica possibili problemi di randomizzazione dal 25 giugno 2013 al 10 gennaio 2014 e sconsiglia la ricerca causale su quel periodo. Lascia esplicitamente aperti altri usi per la ricerca. L’analisi principale esclude ogni test il cui intervallo delle date di creazione interseca quel periodo; i timestamp non dimostrano le date di esposizione e il loro fuso orario è sconosciuto. La verifica strutturale su tutti i periodi conserva quelle registrazioni.
  5. La verifica di sensibilità agli spazi bianchi rimuove quelli iniziali e finali e riduce ogni sequenza interna a 1 solo spazio nel testo di titoli ed estratti, conservando maiuscole, minuscole e punteggiatura. 8 test diventano idonei; 1 test idoneo comune cambia classificazione strutturale. I denominatori vengono ricalcolati, anziché restare fissi a 188. Gli ambiti principale, con normalizzazione degli spazi bianchi e con tutti i periodi contengono rispettivamente 188, 189 e 239 test che variano entrambi gli elementi.
  6. Il CSV esplorativo fissato è upworthy-archive-exploratory-packages-03.12.2020.csv, file OSF versione 1, di 14.260.949 byte. Il suo SHA-256 è 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce. Il file non ha un indicatore aggiornato dei problemi, quindi la restrizione sulle date è ricavata separatamente. L’articolo descrive il testo dell’estratto come visualizzato; la documentazione dell’archivio lo elenca tra i campi che si ritiene non fossero visualizzati. Mantenerlo costante evita di attribuire differenze a quel campo controverso.
  7. Cornell University pubblica Upworthy Research Archive, codice e documentazione associati con licenza Creative Commons Attribution 4.0 International. Influence IQ fornisce questa analisi strutturale derivata; non è implicita alcuna approvazione da parte di Upworthy o degli autori dell’archivio. Il pacchetto di analisi contiene risultati aggregati, record strutturali dei test, codice e istruzioni tradotte per riprodurre l’analisi. Ottieni i dati pubblici originali separatamente dall’archivio.

L’articolo in inglese è l’edizione di origine. Ogni edizione linguistica descrive lo stesso sottoinsieme storico esplorativo di Upworthy e gli stessi disegni illustrativi. La traduzione non rende i risultati un riferimento per il mercato locale o per le piattaforme attuali.

Collega la domanda del test al piano della campagna