A/B-testing av e-post: hva endret seg etter første time?
En e-posttestrapport viser én versjon i front etter en time. Leder den fortsatt senere, og hvor stor er forskjellen? I dette historiske arkivet besto de fleste forsprang, men snuoperasjoner og like resultater gir grunn til å beholde kontrollpunktet og tallene i rapporten.
Influence IQs analyse av SendGuard900K, der kilden oppgir kampanjeregistreringer fra 2022–2024. Studien dekker 5 743 observerte par på tvers av 473 klient-ID-er, hovedsakelig tester av avsendernavn. Den beskriver registrerte klikkmål, ikke bare menneskelige klikk, omsetning eller en representativ e-postreferanse.
Sammendrag
En tidlig A/B-rapport for e-post kan vise hvilken versjon som leder uten å fastslå hvordan sammenligningen vil se ut senere. Blant 4 712 observerte par med forsprang ved 60 minutter i SendGuard900K beholdt 74,5 % forspranget ved 1 440 minutter, 21,0 % snudde, og 4,5 % ble like. Målet er den registrerte telleren for unike klikk delt på rapportert antall sendte e-poster, multiplisert med 100. Hver versjon bruker sitt eget faste antall sendte. Kilden oppgir registreringer fra 2022–2024; 5 647 av de 5 743 kvalifiserte parene var tester av avsendernavn. [1]
De øvrige 1 031 parene sto likt etter første time; 57,0 % fikk senere et forsprang. Par der forspranget snudde, hadde en medianforskjell senere på 0,110 registrerte klikk per 100 sendte. Funnene støtter å rapportere observasjonens alder, forsprang eller likt resultat, forskjell og antallsgrunnlag samlet. De identifiserer ikke sanne vinnere, en optimal ventetid eller effekten av å utsette en full utsending.
Anta at du forbereder neste nyhetsbrevutsending. Du åpner A/B-rapporten, ser én versjon i front og må fortelle en kollega hva som skal gjøres videre. «Denne vant» er en rask melding. Den hopper også over 2 spørsmål: Hvor langt foran er den, og når ble sammenligningen registrert?
Vi sammenlignet registreringene etter første time og etter 24 timer for de samme e-postparene. De fleste tidlige forsprang besto. Hele oversikten inkluderer også forsprang som snudde, forsprang som ble like resultater, og like resultater som senere skilte lag. Forløpene forklarer hva en tidlig rapport sier før den brukes til å velge neste utsending.
Samme e-postpar ved 2 kontrollpunkter

De fleste forsprang etter første time besto, men ikke alle
Ved 60 minutter hadde 4 712 av de 5 743 kvalifiserte parene et forsprang: Én versjon hadde et høyere registrert klikkmål enn den andre. Ved 1 440 minutter, eller 24 timer etter hver versjons utsending, favoriserte 3 510 fortsatt samme versjon. Ytterligere 991 favoriserte den andre, mens 211 sto likt. Det er 74,5 % beholdt forsprang, 21,0 % snudd og 4,5 % likt blant parene som startet med forsprang. [2]
Dette er sammenligninger av et bestemt registrert mål. Vi deler hver versjons teller for unike klikk på rapportert antall sendte e-poster og multipliserer med 100. Enheten blir registrerte klikk per 100 sendte. Et forsprang betyr høyere verdi på dette målet, uansett hvor liten forskjellen er. Det betyr ikke et statistisk signifikant resultat.
Flertallet bør holdes synlig. Arkivet viser ikke at rapporter etter første time generelt ble snudd. Det viser at vedvarende forsprang, snuoperasjoner og senere like resultater alle forekom. En rapport som bare registrerer den tidlige rekkefølgen, mister skillet mellom de senere forløpene.
En rapport etter første time kan nøyaktig beskrive informasjonen registrert da, selv når senere rekkefølge endres. Å kalle en snuoperasjon en «falsk vinner» ville gått lenger: Det ville behandlet senere rekkefølge som sannheten og antatt at den tidlige rapporten hevdet mer enn et nåværende forsprang. Her beholdes begge observasjoner. Sammenligningen viser endret registrert rekkefølge, ikke en feilrate for et beslutningssystem.
Kilden er også snevrere enn det generelle uttrykket «A/B-testing av e-post» antyder. Av de kvalifiserte parene var 5 647 merket avsendernavn og 96 tema. Avsendernavntester utgjør derfor 98,3 % av analysen. Funnene bør ikke presenteres som en emnelinjereferanse eller et estimat for alle e-postplattformer.
Diagrammet nedenfor bruker alle 5 743 par som nevner, inkludert de 1 031 som startet likt. Det gjør alle observerte forløp synlige. De 991 snuoperasjonene er 17,3 % av alle par, men 21,0 % av de 4 712 med tidlig forsprang. Begge tall er riktige; de besvarer ulike spørsmål.
5 forløp dekker alle 5 743 observerte e-postpar
Fra 60 til 1 440 minutter etter hver versjons utsending i SendGuard900K, der kilden daterer arkivet til 2022–2024. Et forsprang er høyere teller for unike klikk per rapportert sendt e-post; like resultater bruker nøyaktige forholdstall.
| Observert forløp | Observerte par | Andel av alle 5 743 par (%) |
|---|---|---|
| Tidlig forsprang besto | 3 510 | 61,1 % |
| Tidlig forsprang snudde | 991 | 17,3 % |
| Tidlig forsprang ble likt resultat | 211 | 3,7 % |
| Tidlig likt resultat ble et forsprang | 588 | 10,2 % |
| Tidlig likt resultat forble likt | 443 | 7,7 % |
Et tidlig likt resultat er et annet utgangspunkt
En rapport som står likt etter første time, har ingen ledende versjon som kan beholdes eller snus. I arkivet hadde 588 av de 1 031 tidlig like parene senere et forsprang, mens 443 forble like. Det er 57,0 % av tidlige like resultater. Det skal ikke legges til snuandelen, som starter fra en annen gruppe.
Mange tidlig like resultater inneholdt også lite registrert aktivitet. I 655 av de 1 031 like parene var begge tellere for unike klikk etter første time null. Andre like resultater kunne ha positive tellere med nøyaktig like forholdstall. Vi klassifiserer likhet fra underliggende antall og sendte totaler, ikke fra avrundede prosenter i et diagram. [3]
For et rapporteringsteam skiller dette «det finnes ikke et forsprang i det registrerte målet» fra «de 2 versjonene presterer like godt». Det første er en observasjon ved en angitt alder. Det andre ville krevd dokumentasjon denne beskrivende sammenligningen ikke gir. At noen like resultater senere skiller lag, fastslår ikke hvilken versjon som burde vært valgt tidligere.
Nevneren kan kontrolleres med en kort beregning fra faktiske arkivantall. Del 588 på 1 031 for å beskrive hva som skjedde med tidlige like resultater. Del 991 på 4 712 for å beskrive snuoperasjoner blant tidlige forsprang. Del et av antallene på 5 743 bare når spørsmålet gjelder alle kvalifiserte par. En rapportoverskrift bør gjøre startgruppen tydelig.
Et lederskifte beskriver ikke størrelsen på forskjellen
De 991 parene der forspranget snudde, hadde en median absolutt forskjell på 0,062 registrerte klikk per 100 sendte etter første time og 0,110 ved 24 timer. Dette er forskjeller mellom de 2 versjonenes registrerte mål, ikke ekstra personer, attribuerte kjøp eller prosentendringer i omsetning. [3]
Nevneren med sendte e-poster er viktig når forskjellen leses. En forskjell i rå klikktellere er ikke nok til å sammenligne versjoner med ulike antall sendte. Hver teller må først deles på eget rapportert antall sendte. En forskjell på 0,110 i målet bør heller ikke beskrives som 0,110 % relativ forbedring: Det er en absolutt forskjell på skalaen per 100 sendte, uten tilknyttet salgsverdi.
Størrelsen på den senere forskjellen varierte. For par med snudd forsprang lå den midterste halvparten mellom omtrent 0,025 og 0,336 registrerte klikk per 100 sendte. Medianen beskriver dermed en typisk plass i gruppen; den betyr ikke at alle snuoperasjoner var små. Rekkefølgen kan endres ved liten forskjell, og noen registrerte forskjeller var langt større.
De andre forløpene gir nyttig kontekst. Par som beholdt forsprang, hadde en medianforskjell senere på 0,291. Par som gikk fra likt til forsprang, hadde 0,444. Et senere likt resultat har per definisjon nøyaktig null forskjell. Tabellen holder alle 5 forløp samlet fremfor å fremheve bare snuoperasjonene.
Tidlig og senere kolonne er separate medianer innenfor hver rad. De følger ikke ett typisk par, og å trekke dem fra hverandre gir ikke medianendringen på tvers av par. Les dem som oppsummeringer av forskjellen ved hvert kontrollpunkt. For å beskrive retningen brukes forløpsetiketten sammen med størrelsen.
Gruppene defineres av det som skjedde ved begge kontrollpunkter. Medianforskjellene kan ikke brukes som fremoverskuende regler for å oppdage en snuoperasjon i en ny kampanje. Særlig er den mindre tidlige medianen blant par med snudd forsprang ingen validert grense for når en rapport trygt kan brukes til handling.
Antallsgrunnlaget hører hjemme ved forskjellen. Blant alle 4 712 par med forsprang etter første time var medianen av samlet teller for unike klikk på tvers av de 2 versjonene 9. I 488 av parene var samlet teller nøyaktig 1. Det beskriver startdokumentasjonen blant tidlig ledende par; det viser ikke at akkurat disse parene forårsaket totalantallet snuoperasjoner, eller at lave antall forklarer endringene.
Medianforskjellen varierer mellom de 5 observerte forløpene
Absolutte forskjeller mellom de 2 versjonenes registrerte klikkmål ved 60 og 1 440 minutter i SendGuard900K, der kilden daterer arkivet til 2022–2024. Hvert mål er telleren for unike klikk delt på rapportert antall sendte e-poster, multiplisert med 100.
| Observert forløp | Observerte par | Medianforskjell ved 60 minutter (registrerte klikk per 100 sendte) | Medianforskjell ved 1 440 minutter (registrerte klikk per 100 sendte) |
|---|---|---|---|
| Tidlig forsprang besto | 3 510 | 0,175 | 0,291 |
| Tidlig forsprang snudde | 991 | 0,062 | 0,110 |
| Tidlig forsprang ble likt resultat | 211 | 0,295 | 0,000 |
| Tidlig likt resultat ble et forsprang | 588 | 0,000 | 0,444 |
| Tidlig likt resultat forble likt | 443 | 0,000 | 0,000 |
Hva endret seg da vi kontrollerte tidspunkt og klientsammensetning?
Vi fastsatte flere sammenligninger før utfallene ble beregnet. Start ved 30 minutter i stedet for 60 ga 4 507 par med tidlig forsprang. Av dem snudde 24,3 % ved 1 440 minutter. Førstetimeresultatet var 21,0 % blant 4 712 par med forsprang. De ulike nevnerne er viktige: Noen par sto likt ved ett kontrollpunkt, men hadde forsprang ved det andre. [4]
Dette viser ikke at 30 minutter ekstra venting hindrer en bestemt andel feilbeslutninger. De 2 beregningene beskriver observerte rekkefølger ved ulik alder. De tildeler ikke en ventepolicy tilfeldig eller evaluerer konsekvensene av en beslutning om full utsending.
Vi avgrenset også førstetimesammenligningen til de 686 parene der de 2 versjonene hadde identiske registrerte utsendingstidsstempler. Av de 560 med tidlig forsprang snudde 19,6 % senere. Kontrollen reduserer én tidsforskjell i registrerte data. Like tidsstempler beviser ikke samtidig levering eller likeverdig målgruppeeksponering.
Noen klient-ID-er bidrar med mange flere par enn andre. Hovedberegningen gir hvert par lik vekt. En separat kontroll finner først snuandelen innenfor hver av de 403 klient-ID-ene med minst 1 førstetimesforsprang og gir deretter hver ID lik vekt. Gjennomsnittet er 19,2 %. Det beskriver gjennomsnittet av snuandelene deres, ikke prosentandelen klienter som opplevde en snuoperasjon. [4]
Samlet bevarer de faste kontrollene det praktiske spørsmålet: Et observert tidlig forsprang kan bestå, snu eller bli likt resultat. De gir ingen universell snusannsynlighet. Arkivet har gjentatte registreringer innenfor klient-ID-er, og ID-ene er ikke et verifisert utvalg av uavhengige bedrifter.
Snuandeler under 3 faste sammenligninger
I SendGuard900K, der kilden daterer arkivet til 2022–2024, deler hver prosent senere snuoperasjoner på par med forsprang ved tidlig kontrollpunkt. Det senere kontrollpunktet er alltid 1 440 minutter etter hver versjons utsending.
| Sammenligning | Par med tidlig forsprang | Senere snuoperasjoner blant tidlig ledende par (%) |
|---|---|---|
| 60 til 1 440 minutter: alle kvalifiserte par | 4 712 | 21,0 % |
| 30 til 1 440 minutter: alle kvalifiserte par | 4 507 | 24,3 % |
| 60 til 1 440 minutter: identiske registrerte utsendingstidsstempler | 560 | 19,6 % |
Gi den som velger neste utsending, mer enn en vinneretikett
En nyttig rapport begynner med beslutningen som skal tas. Velger mottakeren neste utsending, dokumenterer en fullført test eller gjennomgår tidligere tester før et planleggingsmøte? En observasjon fra første time kan være relevant for hver oppgave, men en rapport for én kan utelate informasjon en annen trenger.
Angi testvariabel og mål før den ledende versjonen angis. Her betyr det avsendernavn eller tema, fulgt av telleren for unike klikk per 100 rapportert sendte. Et team som bruker leverte e-poster, verifiserte menneskelige klikk eller kjøp, bør oppgi den definisjonen i stedet. Synlig mål gjør også senere sammenligninger lettere å tolke.
Plasser deretter kontrollpunktet ved forspranget eller det like resultatet. Ta med forskjellen mellom de 2 målene og underliggende tellere og sendte totaler for begge versjoner. Leseren kan da se retning, forskjell og registrert aktivitet bak, fremfor å måtte utlede alle 3 fra en fremhevet rad.
En illustrerende overleveringssetning kan være: «Ved [kontrollpunkt] beskriver [versjon eller likt resultat] nåværende rekkefølge i [definert mål]; forskjellen er [verdi], med [tellere og sendte totaler] bak.» Klammefeltene skal fylles fra en reell rapport, ikke med kampanjeresultater fra studien. En separat setning bør registrere valgt handling og begrunnelsen.
Hvis et senere kontrollpunkt finnes, behold den tidligere observasjonen og vis om forspranget besto, snudde eller ble likt. Dermed kan en tilbakeblikkende gjennomgang skille det som var kjent da, fra det som ble registrert senere. Ta også med par som startet likt, med mindre rapporten uttrykkelig bare gjelder par som allerede hadde forsprang.
Versjonsvalget avhenger fortsatt av kampanjemål, leveringsbegrensninger, målekvalitet og kostnaden ved hvert valg. Arkivet fastsetter ikke regelen. Det gir en nyttig grunn til å unngå at ett ord, «vinner», erstatter både observasjonen og beslutningen.
Hold observasjonen knyttet til beslutningen

Angi sammenligningen
Identifiser testvariabel, registrert mål og kontrollpunkt.
Hold dokumentasjonen samlet
Rapporter forsprang eller likt resultat sammen med forskjellen og tellerne bak.
Angi beslutningen separat
Hold kampanjens beslutningsregel atskilt fra observert forsprang eller likt resultat.
Tidlig e-postevaluering er et etablert forskningsspørsmål
Tidligere forskning behandler allerede e-postresultater som noe som utvikler seg over tid. Bonfrer og Drèzes “Real-Time Evaluation of E-mail Campaign Performance”, publisert på nett i 2008 og i Marketing Science i 2009, beskriver en prediktiv metode og et sekvensielt beslutningsrammeverk evaluert på 25 kampanjer. Den generelle ideen om at tidlige og senere resultater kan variere, er ikke ny. [5]
Denne analysen besvarer et snevrere beskrivende spørsmål med et annet arkiv: Hvor ofte besto, snudde eller ble registrerte rekkefølger like i kvalifiserte par, og hvilke forskjeller fulgte forløpene? Den beholder tidlig like resultater og kontrollerer om beskrivelsen endres med faste tids- og vektingsvalg.
Skillet er viktig når funnene leses. En prediktiv modell prøver å estimere hva som skjer videre under forutsetningene sine. Tabellene våre beskriver hva de publiserte registreringene inneholder ved angitt alder. Observerte prosenter kan informere hvordan et team forklarer rapporten; de er ikke en modell for å velge neste kampanjeversjon.
Slik ble de registrerte parene sammenlignet
SendGuard900K inneholder 908 229 publiserte kampanjeregistreringer. Kildebeskrivelsen oppgir produksjonsmetadata fra 2022–2024. Vi undersøkte 6 801 grupper identifisert ved kombinasjonen klient-ID og test-ID, og beholdt 5 743 grupper med nøyaktig 2 kvalifiserte observerte testdelregistreringer og positive rapporterte antall sendte. Registreringer av full utsending ble utelatt fra parsammenligningen; det var ikke krav om at de fantes. [1] [6]
De beholdte parene omfatter 473 klient-ID-er. Nøyaktig 2 kvalifiserte observerte registreringer fastslår ikke at hvert opprinnelige forsøk bare hadde 2 konfigurerte varianter, at arkivet er komplett eller at målgrupper ble tilfeldig tildelt. Derfor beskriver vi observerte par fremfor en verifisert samling fullstendige randomiserte forsøk.
For hver versjon bruker beregningen telleren for unike klikk ved 30, 60 eller 1 440 minutter og samme arkiverte nevner for rapportert antall sendte. Hvert kontrollpunkt måles relativt til versjonens utsending. Et hovedpar trenger ikke ha samme klokkeslett for utsending. Kontrollen av like tidsstempler er en separat avgrensning, ikke en antakelse for hvert par.
Alle påkrevde tellere i kvalifiserte par var tilgjengelige, gyldige og ikke-negative; ingen oversteg rapportert antall sendte. Ingen teller sank over de 3 kontrollpunktene. Kontrollene støtter den registrerte aritmetikken, men fastslår ikke betydningen av et unikt klikk, botfiltrering, levering eller om senere observasjoner fanger alle endelige svar. [6]
Vi avgjør forsprang og like resultater med nøyaktige sammenligninger av underliggende forholdstall før avrunding. Forskjeller er absolutte forskjeller i registrerte klikk per 100 sendte. Medianer og andre kvantiler bruker nærmeste-rang-regelen: Sorter verdiene og velg angitt rang uten interpolering. Figurene avrunder prosenter til 1 desimal og medianforskjeller til 3; figurnedlastingen beholder 6 desimaler der det gjelder.
Metoden fastsatte kvalifisert struktur, kontrollpunkter, 5 forløp, antalls- og forskjellsoppsummeringer, tidskontroller og beregning med lik klientvekt før utfall ble lest. Alle faste aggregerte tabeller beholdes i forskningsnedlastingen, inkludert nullantall og kvalitetskontroller. Uavhengig reproduksjon fra kilden samsvarte med alle aggregerte resultater. Dette er beskrivende arkivresultater uten konfidensintervaller, signifikanstester eller påstand om representativt bransjeutvalg. [7]
- Last ned figurverdier og omfangsetiketter (CSV)
- Last ned alle faste aggregerte tabeller, metode og analysekode (ZIP)
Figur-CSV-en inneholder 31 numeriske verdier, 1 per datarad, fra de 13 radene som er vist i 3 figurer. ZIP-filen beholder alle 11 aggregerte tabeller, kildekontroller og reproduksjonskode. Den inneholder ingen kampanjerader eller klient-/testidentifikatorer. Oversatte instruksjoner følger med; for å reprodusere analysen må kildefilen lastes ned separat. Numeriske nedlastinger bruker desimalpunktum.
Kilder og merknader
- Kilde: Bobek, Nalepa, Obara, Suszalski og Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, versjon 1.0.0. Kilden oppgir kampanjemetadata fra 2022–2024 og tilskriver opphavsrett Freshmail, 2025. Analysen bruker 5 743 kvalifiserte observerte par, ikke alle 908 229 kampanjerader. Av parene er 5 647 merket sender_name og 96 topic.
- Blant 4 712 par med forsprang etter første time beholdt 3 510 forspranget, 991 snudde og 211 sto senere likt: 74,5 %, 21,0 % og 4,5 %. Blant 1 031 tidlige like resultater gikk 588 over til forsprang og 443 forble like: 57,0 % og 43,0 %. Figuren med 5 forløp deler i stedet hvert antall på alle 5 743 par. Verdier beregnes før visningsavrunding.
- Målet er telleren for unike klikk delt på versjonens faste rapporterte antall sendte, multiplisert med 100. Klassifisering av forsprang og likt resultat bruker nøyaktige forholdstall, ikke avrundede visninger. Absolutte forskjeller har enheten registrerte klikk per 100 sendte. For par med snudd forsprang er senere median 0,109543, med første og tredje kvartil 0,024817 og 0,336215. Alle viste nullforskjeller i mediantabellen med 5 forløp er nøyaktige nuller.
- 30-minuttersammenligningen har 4 507 par med tidlig forsprang, inkludert 1 093 senere snuoperasjoner. Avgrensningen til samme registrerte tidsstempel har 686 par, inkludert 560 tidlige forsprang og 110 snuoperasjoner. Hovedresultatet med lik klientvekt tar gjennomsnittet av snubrøker innenfor klienter over 403 klient-ID-er med minst 1 tidlig forsprang. Gjennomsnittet er 19,227847 %; det er verken en prosentandel av klientantall eller et estimat for representative bedrifter.
- Bonfrer og Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; publisert på nett 7. oktober 2008, utgave 2009. Utgiverens sammendrag beskriver en prediktiv split-hazard-tilnærming, 25 kampanjer og et sekvensielt beslutningsrammeverk. Det støtter tidligere forskning på tidlig e-postevaluering, ikke validering av de beskrivende arkivprosentene våre.
- Den faste kildekontrollen beholder nøyaktig 2 kvalifiserte observerte testdelregistreringer per sammensatt klient-/testgruppe, uten rader for full utsending. Offentlige felt fastslår ikke fullt ut utsendingsklokkens start-/sluttkonvensjon eller varighet, nøkkelen for klikkunikhet, aktivitet bare fra mennesker, nevnere for leverte e-poster, komplett opprinnelig forsøkstildeling eller uttrekkets modenhet. Gyldige, ikke-synkende tellere avklarer ikke begrensningene. Identiske registrerte utsendingstidsstempler beviser ikke samtidig levering.
- SendGuard900K er publisert under Creative Commons Attribution 4.0 International. Forskningspakken inneholder analysekode, fast metode og avledede aggregerte tabeller; den videreformidler ikke kampanjeregistreringer eller klient-/testidentifikatorer. Reproduksjon fra kilden krever separat nedlasting av originalfilen. Den delte pakken inneholder oversatte instruksjoner.
Den engelske artikkelen er originalutgaven. Alle språkutgaver beskriver samme historiske SendGuard900K-arkiv, der kilden oppgir registreringer fra 2022–2024. Oversettelse gjør ikke resultatene til en lokal markedsreferanse eller en aktuell bransjereferanse.