Test A/B delle email: che cosa è cambiato dopo la prima ora

Un rapporto di test delle email mostra una versione in vantaggio dopo un’ora. Lo sarà ancora più tardi e quanto è grande la differenza? In questo archivio storico la maggior parte dei vantaggi persisteva, ma inversioni e parità danno un motivo per conservare momento di osservazione e numeri nel rapporto.

Analisi di Influence IQ su SendGuard900K, la cui fonte dichiara record di campagne del 2022–2024. Lo studio copre 5.743 coppie osservate in 473 ID cliente, prevalentemente test sul nome del mittente. Descrive misure registrate di clic, non clic esclusivamente umani, ricavi o un riferimento rappresentativo delle email.

Sintesi

Un primo rapporto A/B sulle email può identificare quale versione sia in vantaggio senza stabilire come apparirà il confronto più tardi. Tra 4.712 coppie osservate con un vantaggio non nullo a 60 minuti in SendGuard900K, il 74,5% manteneva il vantaggio a 1.440 minuti, il 21,0% lo invertiva e il 4,5% arrivava alla parità. La misura è il contatore dei clic unici registrati diviso per le email dichiarate come inviate, moltiplicato per 100. Ogni versione usa il proprio conteggio fisso di invii. La fonte dichiara record del 2022–2024; 5.647 delle 5.743 coppie ammissibili erano test sul nome del mittente. [1]

Le altre 1.031 coppie erano in parità alla prima ora; il 57,0% aveva poi un vantaggio non nullo. Le coppie con inversione avevano una differenza mediana successiva di 0,110 clic registrati per 100 invii. I risultati indicano l’utilità di riportare insieme il tempo trascorso all’osservazione, il vantaggio o la parità, la differenza e il contesto dei conteggi. Non identificano veri vincitori, un’attesa ottimale o l’effetto di rimandare l’invio esteso.

Supponiamo che tu stia preparando il prossimo invio di una newsletter. Apri il rapporto A/B, vedi una versione in vantaggio e devi dire a un collega che cosa fare. «Questa ha vinto» è un messaggio rapido. Salta anche 2 domande: di quanto è in vantaggio e quando è stato registrato il confronto?

Abbiamo confrontato i record della prima ora e delle 24 ore delle stesse coppie di email. La maggior parte dei vantaggi iniziali resisteva. Il quadro completo include anche vantaggi invertiti, diventati parità e parità poi sciolte. Questi percorsi aiutano a spiegare che cosa dica un rapporto iniziale prima di usarlo per scegliere l’invio successivo.

La stessa coppia di email a 2 momenti di osservazione

2 pannelli trasparenti contengono ciascuno una busta blu scuro con sigillo circolare e una verde salvia con sigillo a rombo, sotto il contorno di un orologio senza lancette. Un nastro dorato collega i pannelli.
Illustrazione concettuale delle stesse 2 versioni di email osservate a 2 momenti.

La maggior parte dei vantaggi iniziali restava, ma non tutti

A 60 minuti, 4.712 delle 5.743 coppie ammissibili avevano un vantaggio: una versione aveva una misura registrata di clic superiore all’altra. A 1.440 minuti, cioè 24 ore dall’invio di ogni versione, 3.510 favorivano ancora la stessa versione. Altre 991 favorivano quella opposta, mentre 211 erano in parità. Sono il 74,5% mantenuto, il 21,0% invertito e il 4,5% in parità tra le coppie inizialmente in vantaggio. [2]

Sono confronti di una particolare misura registrata. Dividiamo il contatore dei clic unici di ogni versione per le email dichiarate come inviate e moltiplichiamo per 100. L’unità risultante è clic registrati per 100 invii. Un vantaggio significa un valore più alto della misura, per quanto piccola sia la differenza. Non significa un risultato statisticamente significativo.

Vale la pena mantenere visibile la maggioranza. L’archivio non mostra che i rapporti della prima ora fossero generalmente ribaltati. Mostra che persistenza, inversione e successiva parità si verificavano tutte. Un rapporto che registra solo l’ordine iniziale perde la distinzione tra questi percorsi successivi.

Un rapporto della prima ora può descrivere accuratamente le informazioni registrate allora anche se l’ordine successivo differisce. Chiamare un’inversione «falso vincitore» andrebbe oltre: tratterebbe l’ordine successivo come verità e presumerebbe che il rapporto iniziale affermasse più di un vantaggio attuale. Qui entrambe le osservazioni sono conservate. Il confronto mostra un cambiamento nell’ordine registrato, non un tasso di errore di un sistema decisionale.

La fonte è anche più circoscritta di quanto suggerisca l’espressione generica «test A/B delle email». Delle coppie ammissibili, 5.647 erano etichettate come nome del mittente e 96 come tema. I test sul nome del mittente rappresentano quindi il 98,3% dell’analisi. I risultati non dovrebbero essere presentati come riferimento per gli oggetti delle email o stima per ogni piattaforma email.

Il grafico seguente usa tutte le 5.743 coppie come denominatore, comprese le 1.031 inizialmente in parità. Così ogni percorso osservato è visibile. Le 991 inversioni sono il 17,3% di tutte le coppie, ma il 21,0% delle 4.712 con vantaggio iniziale. Entrambi i numeri sono corretti; rispondono a domande diverse.

5 percorsi comprendono tutte le 5.743 coppie di email osservate

Da 60 a 1.440 minuti dall’invio di ogni versione in SendGuard900K, la cui fonte data l’archivio al 2022–2024. Un vantaggio è un contatore dei clic unici più alto per email dichiarata come inviata; le parità usano rapporti esatti.

Leggi i valori della figura
Percorso osservatoCoppie osservateQuota di tutte le 5.743 coppie (%)
Vantaggio iniziale mantenuto351061,1%
Vantaggio iniziale invertito99117,3%
Vantaggio iniziale diventato parità2113,7%
Parità iniziale diventata vantaggio58810,2%
Parità iniziale rimasta parità4437,7%
Ogni percentuale qui usa tutte le 5.743 coppie. Le prime 3 righe contengono insieme 4.712 vantaggi iniziali non nulli; le ultime 2 contengono 1.031 parità iniziali. Le percentuali condizionali di inversione e scioglimento della parità nel testo usano quei gruppi iniziali separati.

Una parità iniziale è un punto di partenza diverso

Un rapporto iniziale in parità non ha una versione in vantaggio da mantenere o invertire. Nell’archivio, 588 delle 1.031 parità iniziali avevano poi un vantaggio, mentre 443 restavano in parità. È il 57,0% delle parità iniziali. Non va aggiunto alla percentuale di inversione, che parte da un gruppo diverso.

Molte parità iniziali contenevano anche poca attività registrata. In 655 delle 1.031 coppie in parità, entrambi i contatori dei clic unici della prima ora erano 0. Altre parità potevano contenere contatori positivi con rapporti esattamente uguali. Classifichiamo l’uguaglianza dai conteggi sottostanti e dai totali di invio, non dalle percentuali arrotondate di un grafico. [3]

Per chi prepara rapporti, questo distingue «non c’è vantaggio nella misura registrata» da «le 2 versioni hanno prestazioni uguali». Il primo è un’osservazione a un tempo dichiarato dall’invio. Il secondo richiederebbe prove che il confronto descrittivo non fornisce. Il successivo distacco di alcune parità non stabilisce quale versione andasse scelta prima.

Il denominatore si verifica con un breve calcolo usando i conteggi effettivi dell’archivio. Dividi 588 per 1.031 per descrivere che cosa è successo alle parità iniziali. Dividi 991 per 4.712 per descrivere le inversioni tra i vantaggi iniziali. Dividi un conteggio per 5.743 soltanto quando la domanda riguarda tutte le coppie ammissibili. Il titolo del rapporto dovrebbe rendere esplicito il gruppo iniziale.

Un cambio di versione in vantaggio non descrive la dimensione della differenza

Le 991 coppie con inversione avevano una differenza assoluta mediana di 0,062 clic registrati per 100 invii alla prima ora e 0,110 a 24 ore. Sono differenze tra le misure registrate delle 2 versioni, non persone aggiuntive, acquisti attribuiti o variazioni percentuali dei ricavi. [3]

Il denominatore degli invii conta nella lettura della differenza. Una differenza nei contatori grezzi non basta per confrontare versioni con totali di invio diversi. Ogni contatore deve essere prima diviso per il proprio totale dichiarato di invii. Una differenza di 0,110 in questa misura non va neppure descritta come miglioramento relativo dello 0,110%: è una differenza assoluta sulla scala per 100 invii, senza valore di vendita associato.

La dimensione della differenza successiva variava. Per le coppie con inversione, la metà centrale si collocava tra circa 0,025 e 0,336 clic registrati per 100 invii. La mediana descrive quindi una posizione tipica nel gruppo; non significa che ogni inversione fosse piccola. L’ordine può cambiare con una differenza piccola e alcune differenze registrate erano molto più grandi.

Gli altri percorsi offrono un contesto utile. Le coppie che mantenevano il vantaggio avevano una differenza mediana successiva di 0,291. Quelle passate dalla parità al vantaggio avevano una mediana successiva di 0,444. Una parità successiva ha una differenza esatta pari a 0 per definizione. La tabella mantiene insieme tutti i 5 percorsi anziché evidenziare soltanto le inversioni.

Le colonne iniziale e successiva sono mediane separate in ogni riga. Non tracciano una coppia tipica e sottrarle non dà il cambiamento mediano tra coppie. Leggile come sintesi della differenza a ogni osservazione. Per descrivere la direzione del confronto, usa l’etichetta del percorso insieme alla dimensione.

Questi gruppi sono definiti da ciò che è successo a entrambe le osservazioni. Le differenze mediane non possono essere usate come regole prospettiche per individuare un’inversione in una nuova campagna. In particolare, la mediana iniziale più piccola tra le coppie con inversione non è una soglia convalidata per decidere quando sia sicuro agire su un rapporto.

Il contesto dei conteggi deve affiancare la differenza. Tra tutte le 4.712 coppie con vantaggio alla prima ora, il contatore combinato mediano dei clic unici delle 2 versioni era 9. In 488 coppie, il contatore combinato era esattamente 1. Questo descrive le prove iniziali tra i vantaggi precoci; non mostra che quelle particolari coppie abbiano causato il totale delle inversioni o che i conteggi bassi spieghino i cambiamenti.

La differenza mediana varia tra i 5 percorsi osservati

Differenze assolute tra le misure registrate dei clic delle 2 versioni a 60 e 1.440 minuti in SendGuard900K, la cui fonte data l’archivio al 2022–2024. Ogni misura è il contatore dei clic unici diviso per le email dichiarate come inviate, moltiplicato per 100.

Leggi i valori della figura
Percorso osservatoCoppie osservateDifferenza mediana a 60 minuti (clic registrati per 100 invii)Differenza mediana a 1.440 minuti (clic registrati per 100 invii)
Vantaggio iniziale mantenuto35100,1750,291
Vantaggio iniziale invertito9910,0620,110
Vantaggio iniziale diventato parità2110,2950,000
Parità iniziale diventata vantaggio5880,0000,444
Parità iniziale rimasta parità4430,0000,000
Le differenze sono clic registrati per 100 invii, non tassi verificati di clic umani o acquisti aggiuntivi. Ogni mediana usa le coppie della propria riga. Un valore visualizzato pari a 0 è esatto; le mediane positive sono arrotondate a 3 decimali. I percorsi usano entrambe le osservazioni, quindi queste mediane non sono soglie decisionali prospettiche.

Che cosa è cambiato verificando tempi e composizione dei clienti

Abbiamo fissato confronti aggiuntivi prima di calcolare gli esiti. Partire da 30 minuti anziché 60 produceva 4.507 coppie con vantaggio iniziale. Di queste, il 24,3% invertiva il vantaggio entro 1.440 minuti. Il risultato della prima ora era il 21,0% su 4.712 coppie in vantaggio. Contano i denominatori diversi: alcune coppie erano in parità a un’osservazione e in vantaggio all’altra. [4]

Non dimostra che aspettare altri 30 minuti eviti una particolare quota di decisioni sbagliate. I 2 calcoli descrivono ordini osservati a tempi diversi dall’invio. Non assegnano casualmente una politica di attesa né valutano le conseguenze di una decisione sull’invio esteso.

Abbiamo anche limitato il confronto della prima ora alle 686 coppie le cui 2 versioni avevano orari di invio registrati identici. Delle 560 con vantaggio iniziale, il 19,6% lo invertiva più tardi. La verifica riduce una differenza temporale nei dati registrati. Orari uguali non provano consegna simultanea o esposizione equivalente del pubblico.

Alcuni ID cliente contribuiscono molte più coppie di altri. Il calcolo principale dà lo stesso peso a ogni coppia. Una verifica separata trova prima la quota di inversioni in ognuno dei 403 ID cliente con almeno 1 vantaggio iniziale, poi dà lo stesso peso a ogni ID. La media è il 19,2%. Descrive la media delle loro quote di inversione, non la percentuale di clienti che hanno avuto un’inversione. [4]

Insieme, le verifiche fisse mantengono il problema pratico: un vantaggio iniziale osservato può persistere, invertirsi o diventare parità. Non producono una probabilità universale di inversione. L’archivio ha record ripetuti negli ID cliente e tali ID non sono un campione verificato di imprese indipendenti.

Quote di inversione in 3 confronti fissi

In SendGuard900K, la cui fonte data l’archivio al 2022–2024, ogni percentuale divide le inversioni successive per le coppie con vantaggio non nullo all’osservazione iniziale. Quella successiva è sempre a 1.440 minuti dall’invio di ogni versione.

Leggi i valori della figura
ConfrontoCoppie con vantaggio iniziale non nulloInversioni successive tra i vantaggi iniziali non nulli (%)
Da 60 a 1.440 minuti: tutte le coppie ammissibili471221,0%
Da 30 a 1.440 minuti: tutte le coppie ammissibili450724,3%
Da 60 a 1.440 minuti: orari registrati di invio identici56019,6%
I confronti a 60 e 30 minuti iniziano dalle stesse 5.743 coppie ma hanno denominatori diversi di vantaggi non nulli. La restrizione agli orari identici parte da 686 coppie. Questi confronti non stimano un beneficio causale dell’attesa o provano consegna simultanea.

Dai a chi sceglie l’invio successivo più di un’etichetta di vincitore

Un rapporto utile parte dalla decisione. Chi lo riceve sceglie l’invio successivo, documenta un test completato o esamina test passati per una riunione di pianificazione? Un’osservazione della prima ora può essere pertinente a ogni attività, ma un rapporto preparato per una può omettere informazioni necessarie a un’altra.

Indica variabile testata e misura prima della versione in vantaggio. Qui significa nome del mittente o tema, seguiti dal contatore dei clic unici per 100 invii dichiarati. Un team che usa email consegnate, clic umani verificati o acquisti dovrebbe indicare quella definizione. Mantenere visibile la misura rende anche più interpretabili i confronti successivi.

Metti poi il momento di osservazione accanto al vantaggio o alla parità. Includi la differenza tra le 2 misure e i contatori e totali di invio sottostanti per entrambe le versioni. Chi legge vede così direzione, differenza e attività registrata a sostegno, anziché dover dedurre tutte queste 3 informazioni da una riga evidenziata.

Una frase illustrativa di passaggio di consegne potrebbe essere: «A [momento di osservazione], [versione o parità] descrive l’ordine attuale in [misura definita]; la differenza è [valore], sostenuta da [contatori e totali di invio]». Le parentesi sono campi da compilare da un rapporto reale, non risultati di campagne dello studio. Una frase separata dovrebbe registrare l’azione scelta e il motivo.

Se è disponibile un’osservazione successiva, conserva quella iniziale e mostra se il vantaggio sia rimasto, si sia invertito o sia diventato parità. Una revisione retrospettiva distingue così ciò che si sapeva allora da ciò che è stato registrato dopo. Includi anche le coppie inizialmente in parità, salvo che il rapporto riguardi esplicitamente soltanto coppie già in vantaggio.

Scegliere una versione dipende comunque da obiettivo della campagna, vincoli di consegna, qualità della misurazione e costo di ogni scelta. L’archivio non stabilisce quella regola. Offre un motivo utile per evitare che una sola parola, «vincitore», rappresenti insieme osservazione e decisione.

Mantieni l’osservazione collegata alla decisione

Buste blu scuro e verde salvia si collegano a schede separate che abbinano ogni busta al contorno di un orologio senza lancette. Una freccia porta a un quaderno aperto con le 2 schede accanto a una matita.
  1. Indica il confronto

    Identifica variabile testata, misura registrata e momento di osservazione.

  2. Mantieni unite le prove

    Riporta vantaggio o parità insieme alla differenza e ai contatori sottostanti.

  3. Dichiara separatamente la decisione

    Mantieni la regola decisionale della campagna separata dal vantaggio o dalla parità osservati.

Illustrazione concettuale del trasferimento di ogni versione email e del suo momento di osservazione in un rapporto.

La valutazione iniziale delle email è una domanda di ricerca consolidata

Ricerche precedenti trattano già le prestazioni delle email come qualcosa che si sviluppa nel tempo. “Real-Time Evaluation of E-mail Campaign Performance” di Bonfrer e Drèze, pubblicato online nel 2008 e su Marketing Science nel 2009, descrive un metodo predittivo e un quadro decisionale sequenziale valutati su 25 campagne. L’idea generale che risultati iniziali e successivi possano differire non è nuova. [5]

L’analisi risponde a una domanda descrittiva più circoscritta con un archivio diverso: quanto spesso gli ordini registrati persistevano, si invertivano o arrivavano alla parità nelle coppie ammissibili e quali differenze accompagnavano i percorsi? Mantiene visibili le parità iniziali e verifica se il quadro cambi con scelte fisse di tempo e ponderazione.

La distinzione conta leggendo i risultati. Un modello predittivo prova a stimare che cosa succederà secondo le sue ipotesi. Le nostre tabelle descrivono ciò che i record pubblicati contengono a tempi specificati dall’invio. Le percentuali osservate possono orientare la spiegazione di un rapporto; non sono un modello per scegliere la versione della prossima campagna.

Come sono state confrontate le coppie registrate

SendGuard900K contiene 908.229 record di campagne pubblicati. La descrizione della fonte dichiara metadati di produzione del 2022–2024. Abbiamo esaminato 6.801 gruppi identificati dalla combinazione di ID cliente e ID test, poi mantenuto 5.743 gruppi con esattamente 2 record osservati ammissibili di parti del test e conteggi dichiarati di invio positivi. I record dell’invio finale esteso sono esclusi dal confronto tra coppie; la loro presenza non era richiesta. [1] [6]

Le coppie mantenute coprono 473 ID cliente. Esattamente 2 record osservati ammissibili non stabiliscono che ogni esperimento originale avesse solo 2 varianti configurate, che l’archivio sia completo o che i pubblici fossero assegnati casualmente. Descriviamo quindi coppie osservate, non una raccolta verificata di esperimenti randomizzati completi.

Per ogni versione, il calcolo usa il contatore dei clic unici a 30, 60 o 1.440 minuti e lo stesso denominatore archiviato degli invii dichiarati. Ogni osservazione è misurata rispetto all’invio di quella versione. Una coppia principale non deve condividere l’orario effettivo di invio. La verifica degli orari identici è una restrizione separata, non un’ipotesi applicata a ogni coppia.

Tutti i contatori richiesti nelle coppie ammissibili erano disponibili, validi e non negativi; nessuno superava il conteggio dichiarato degli invii. Nessun contatore diminuiva tra le 3 osservazioni. Le verifiche sostengono l’aritmetica registrata, ma non stabiliscono il significato di un clic unico, il filtraggio dei bot, la consegna o se le osservazioni successive coprano ogni risposta futura. [6]

Determiniamo vantaggi e parità con confronti esatti dei rapporti sottostanti prima dell’arrotondamento. Le differenze sono assolute, in clic registrati per 100 invii. Mediane e altri quantili usano la regola del rango più vicino: ordinare i valori e scegliere il rango indicato, senza interpolazione. Le figure arrotondano le percentuali a 1 decimale e le differenze mediane a 3; il download delle figure conserva 6 decimali dove pertinente.

Il metodo fissava struttura ammissibile, momenti di osservazione, 5 percorsi, sintesi di conteggi e differenze, verifiche temporali e calcolo con uguale peso per cliente prima di leggere gli esiti. Tutte le tabelle aggregate fisse restano nel download di ricerca, compresi conteggi zero e verifiche di qualità. Una riproduzione indipendente a partire dai dati della fonte ha ottenuto gli stessi output aggregati completi. Sono risultati descrittivi d’archivio, senza intervalli di confidenza, test di significatività o affermazioni di campionamento rappresentativo del settore. [7]

Il CSV delle figure contiene 31 valori numerici, 1 per riga di dati, dalle 13 righe mostrate in 3 figure. Lo ZIP conserva tutte le 11 tabelle aggregate, le verifiche delle fonti e il codice di riproduzione. Non contiene righe a livello di campagna o identificatori cliente/test. Sono incluse istruzioni tradotte; riprodurre l’analisi richiede il file di origine scaricato separatamente. I download numerici usano il punto decimale.

Fonti e note

  1. Fonte: Bobek, Nalepa, Obara, Suszalski e Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, versione 1.0.0. La fonte dichiara metadati di campagne del 2022–2024 e attribuisce il copyright a Freshmail, 2025. L’analisi usa 5.743 coppie osservate ammissibili, non tutte le 908.229 righe di campagne. Di quelle coppie, 5.647 sono etichettate sender_name e 96 topic.
  2. Tra 4.712 coppie con vantaggio non nullo alla prima ora, 3.510 lo mantenevano, 991 lo invertivano e 211 arrivavano poi alla parità: 74,5%, 21,0% e 4,5%. Tra 1.031 parità iniziali, 588 diventavano un vantaggio non nullo e 443 restavano in parità: 57,0% e 43,0%. La figura dei 5 percorsi divide invece ogni conteggio per tutte le 5.743 coppie. I valori sono calcolati prima dell’arrotondamento di visualizzazione.
  3. La misura è il contatore dei clic unici diviso per il conteggio fisso degli invii dichiarati della versione, moltiplicato per 100. Vantaggio e parità usano rapporti esatti, non visualizzazioni arrotondate. Le differenze assolute hanno unità di clic registrati per 100 invii. Per le coppie con inversione, la mediana successiva è 0,109543, con primo e terzo quartile 0,024817 e 0,336215. Tutti gli zeri mostrati nella tabella delle mediane dei 5 percorsi sono esatti.
  4. Il confronto a 30 minuti ha 4.507 vantaggi iniziali non nulli, comprese 1.093 inversioni successive. La restrizione agli orari registrati identici ha 686 coppie, compresi 560 vantaggi iniziali non nulli e 110 inversioni. Il risultato principale con uguale peso per cliente fa la media delle frazioni di inversione interne ai clienti in 403 ID con almeno 1 vantaggio iniziale non nullo. La media è 19,227847%; non è né una percentuale del numero di clienti né una stima di imprese rappresentative.
  5. Bonfrer e Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; pubblicato online il 7 ottobre 2008, fascicolo del 2009. La sintesi dell’editore descrive un approccio predittivo split-hazard, 25 campagne e un quadro decisionale sequenziale. Documenta ricerche precedenti sulla valutazione iniziale delle email; non convalida le nostre percentuali descrittive d’archivio.
  6. La selezione fissa della fonte conserva esattamente 2 record osservati ammissibili di parti del test per gruppo composto cliente/test, escludendo le righe dell’invio finale esteso. I campi pubblici non stabiliscono completamente la convenzione di inizio/fine dell’orologio d’invio o la durata, la chiave di unicità dei clic, l’attività esclusivamente umana, i denominatori delle email consegnate, l’assegnazione completa dell’esperimento originale o la maturità dell’estrazione. Contatori validi e non decrescenti non risolvono i limiti. Orari registrati di invio identici non provano consegna simultanea.
  7. SendGuard900K è pubblicato con licenza Creative Commons Attribution 4.0 International. Il pacchetto di ricerca contiene codice di analisi, metodo fisso e tabelle aggregate derivate; non ridistribuisce record a livello di campagna o identificatori cliente/test. Riprodurre dalla fonte richiede un download separato del file originale. Il pacchetto condiviso include istruzioni tradotte.

L’articolo in inglese è l’edizione di riferimento. Tutte le edizioni linguistiche descrivono lo stesso archivio storico SendGuard900K, la cui fonte dichiara record del 2022–2024. La traduzione non rende i risultati un riferimento di mercato locale o attuale del settore.

Mantieni chiari misura e finestra di osservazione