A/B-test af e-mail: hvad ændrede sig efter den første time?
En e-mailtestrapport viser én version foran efter en time. Vil den stadig være foran senere, og hvor stor er forskellen? I dette historiske arkiv bestod de fleste forspring, men skift og ligheder giver grund til at beholde observationstidspunktet og tallene i rapporten.
Influence IQ-analyse af SendGuard900K, hvis kilde angiver kampagneregistreringer fra 2022–2024. Undersøgelsen omfatter 5.743 observerede par på tværs af 473 klient-id'er, overvejende test af afsendernavn. Den beskriver registrerede klikmål, ikke udelukkende menneskelige klik, omsætning eller et repræsentativt e-mailbenchmark.
Resumé
En tidlig A/B-rapport om e-mail kan identificere, hvilken version der er foran, uden at fastslå, hvordan sammenligningen ser ud senere. Blandt 4.712 observerede par med et forspring ved 60 minutter i SendGuard900K beholdt 74,5 % forspringet ved 1.440 minutter, i 21,0 % skiftede det side, og 4,5 % endte lige. Målet er den registrerede tæller for unikke klik divideret med rapporterede afsendte e-mails, ganget med 100. Hver version bruger sit eget faste antal afsendte. Kilden angiver registreringer fra 2022–2024; 5.647 af de 5.743 par, der opfyldte kriterierne, var test af afsendernavn. [1]
De øvrige 1.031 par stod lige efter første time; 57,0 % havde senere et forspring. Par, hvor forspringet skiftede side, havde en medianforskel senere på 0,110 registrerede klik pr. 100 afsendte. Resultaterne understøtter at rapportere observationens alder, forspring eller lighed, forskel og antalskontekst samlet. De identificerer ikke sande vindere, en optimal ventetid eller effekten af at udskyde en udrulning.
Antag, at du forbereder næste udsendelse af et nyhedsbrev. Du åbner A/B-rapporten, ser én version foran og skal fortælle en kollega, hvad der skal ske. ”Denne vandt” er en hurtig besked. Den springer også 2 spørgsmål over: Hvor langt foran er den, og hvornår blev sammenligningen registreret?
Vi sammenlignede registreringerne efter første time og efter 24 timer for de samme e-mailpar. De fleste forspring fra første time bestod. Den fulde opgørelse omfatter også forspring, der skiftede side, forspring, der blev til lighed, og ligheder, der senere skiltes. Forløbene hjælper med at forklare, hvad en tidlig rapport siger, før nogen bruger den til at vælge næste udsendelse.
Samme e-mailpar ved 2 observationstidspunkter

De fleste forspring fra første time bestod, men ikke alle
Ved 60 minutter havde 4.712 af de 5.743 par, der opfyldte kriterierne, et forspring: Én version havde et højere registreret klikmål end den anden. Ved 1.440 minutter, eller 24 timer efter hver versions afsendelse, favoriserede 3.510 stadig samme version. Yderligere 991 favoriserede den anden version, mens 211 stod lige. Det er 74,5 % bevarede forspring, 21,0 % skift og 4,5 % ligheder blandt par, der begyndte med et forspring. [2]
Det er sammenligninger af et bestemt registreret mål. Vi dividerer hver versions tæller for unikke klik med dens rapporterede afsendte e-mails og ganger med 100. Enheden bliver registrerede klik pr. 100 afsendte. Et forspring betyder en højere værdi af målet, uanset hvor lille forskellen er. Det betyder ikke et statistisk signifikant resultat.
Flertallet er værd at holde for øje. Arkivet viser ikke, at rapporter efter første time generelt blev vendt på hovedet. Det viser, at bevaret forspring, skift og senere lighed alle forekom. En rapport, der kun registrerer den tidlige rækkefølge, mister skelnen mellem de senere forløb.
En rapport efter første time kan korrekt beskrive de oplysninger, der var registreret da, selv når den senere rækkefølge er anderledes. At kalde et skift en ”falsk vinder” ville gå videre: Det ville behandle den senere rækkefølge som sandhed og antage, at den tidlige rapport hævdede mere end et aktuelt forspring. Her bevares begge observationer. Sammenligningen viser en ændret registreret rækkefølge, ikke en fejlrate for et beslutningssystem.
Kilden er også snævrere, end den generelle formulering ”A/B-test af e-mail” antyder. Af parrene, der opfyldte kriterierne, var 5.647 betegnet som afsendernavn og 96 som emne. Test af afsendernavn udgør dermed 98,3 % af analysen. Resultaterne bør ikke præsenteres som et benchmark for emnelinjer eller et estimat for alle e-mailplatforme.
Diagrammet nedenfor bruger alle 5.743 par som nævner, også de 1.031, der begyndte lige. Det gør hvert observeret forløb synligt. De 991 skift er 17,3 % af alle par, men 21,0 % af de 4.712 med et tidligt forspring. Begge tal er korrekte; de besvarer forskellige spørgsmål.
5 forløb omfatter alle 5.743 observerede e-mailpar
Fra 60 til 1.440 minutter efter hver versions afsendelse i SendGuard900K, hvis kilde daterer arkivet til 2022–2024. Et forspring er en højere tæller for unikke klik pr. rapporteret afsendt e-mail; ligheder bruger præcise forholdstal.
| Observeret forløb | Observerede par | Andel af alle 5.743 par (%) |
|---|---|---|
| Tidligt forspring bevaret | 3.510 | 61,1 % |
| Tidligt forspring skiftede side | 991 | 17,3 % |
| Tidligt forspring blev til lighed | 211 | 3,7 % |
| Tidlig lighed blev til forspring | 588 | 10,2 % |
| Tidlig lighed forblev lighed | 443 | 7,7 % |
En tidlig lighed er et andet udgangspunkt
En rapport med lighed efter første time har ingen førende version, der kan beholde eller miste forspringet til den anden. I arkivet havde 588 af de 1.031 tidlige ligheder senere et forspring, mens 443 forblev lige. Det er 57,0 % af tidlige ligheder. Det bør ikke lægges til skiftprocenten, som tager udgangspunkt i en anden gruppe.
Mange tidlige ligheder indeholdt også lidt registreret aktivitet. I 655 af de 1.031 lige par var begge tællere for unikke klik efter første time 0. Andre ligheder kunne indeholde positive tællere med præcis ens forholdstal. Vi klassificerer lighed ud fra de underliggende antal og afsendelsestotaler, ikke afrundede procentdele i et diagram. [3]
For et rapporteringsteam adskiller det ”der er intet forspring i det registrerede mål” fra ”de 2 versioner præsterer ens”. Det første er en observation på et angivet tidspunkt efter afsendelsen. Det andet ville kræve evidens, som denne beskrivende sammenligning ikke giver. At nogle ligheder senere skiltes, fastslår ikke, hvilken version der burde være valgt tidligere.
Nævneren kan kontrolleres med en kort beregning ud fra arkivets faktiske antal. Dividér 588 med 1.031 for at beskrive, hvad der skete med tidlige ligheder. Dividér 991 med 4.712 for at beskrive skift blandt tidlige forspring. Dividér kun et af antallene med 5.743, når spørgsmålet vedrører alle par, der opfylder kriterierne. En rapportoverskrift bør gøre udgangsgruppen tydelig.
En ny førende version beskriver ikke forskellens størrelse
For de 991 par, hvor forspringet skiftede side, var medianen af de absolutte forskelle 0,062 registrerede klik pr. 100 afsendte efter første time og 0,110 ved 24 timer. Det er forskelle mellem de 2 versioners registrerede mål, ikke yderligere personer, tilskrevne køb eller procentvise omsætningsændringer. [3]
Afsendelsesnævneren er vigtig, når forskellen læses. En forskel i rå kliktællere er ikke nok til at sammenligne versioner med forskellige afsendelsestotaler. Hver tæller skal først divideres med sin egen rapporterede afsendelsestotal. En forskel på 0,110 i målet bør heller ikke beskrives som en relativ forbedring på 0,110 %: Det er en absolut forskel på skalaen pr. 100 afsendte uden tilknyttet salgsværdi.
Størrelsen på den senere forskel varierede. For par med skift lå den midterste halvdel mellem cirka 0,025 og 0,336 registrerede klik pr. 100 afsendte. Medianen beskriver derfor en typisk placering i gruppen; den betyder ikke, at hvert skift var lille. En rækkefølge kan ændre sig ved en lille forskel, og nogle registrerede forskelle var langt større.
De andre forløb giver nyttig kontekst. Par, der beholdt et forspring, havde en senere medianforskel på 0,291. Par, der gik fra lighed til forspring, havde en senere medianforskel på 0,444. En senere lighed har per definition en præcis forskel på 0. Tabellen holder alle 5 forløb samlet frem for kun at fremhæve skiftene.
De tidlige og senere kolonner er særskilte medianer i hver række. De følger ikke ét typisk par, og deres differens giver ikke medianændringen på tværs af par. Læs dem som opsummeringer af forskellen ved hvert observationstidspunkt. Brug forløbsbetegnelsen sammen med størrelsen til at beskrive sammenligningens retning.
Grupperne defineres af, hvad der skete ved begge observationstidspunkter. Deres medianforskelle kan ikke bruges som fremadrettede regler til at opdage et skift i en ny kampagne. Især er den mindre tidlige median blandt par med skift ikke en valideret grænse for at afgøre, hvornår en rapport er sikker at handle på.
Antalskontekst hører hjemme ved forskellen. Blandt alle 4.712 par med et forspring efter første time var medianen af den samlede tæller for unikke klik på tværs af de 2 versioner 9. I 488 af parrene var den samlede tæller præcis 1. Det beskriver den indledende evidens blandt tidlige forspring; det viser ikke, at netop de par skabte det samlede antal skift, eller at lave antal forklarer ændringerne.
Medianforskellen varierer mellem de 5 observerede forløb
Absolutte forskelle mellem de 2 versioners registrerede klikmål ved 60 og 1.440 minutter i SendGuard900K, hvis kilde daterer arkivet til 2022–2024. Hvert mål er tælleren for unikke klik divideret med rapporterede afsendte e-mails, ganget med 100.
| Observeret forløb | Observerede par | Medianforskel ved 60 minutter (registrerede klik pr. 100 afsendte) | Medianforskel ved 1.440 minutter (registrerede klik pr. 100 afsendte) |
|---|---|---|---|
| Tidligt forspring bevaret | 3.510 | 0,175 | 0,291 |
| Tidligt forspring skiftede side | 991 | 0,062 | 0,110 |
| Tidligt forspring blev til lighed | 211 | 0,295 | 0,000 |
| Tidlig lighed blev til forspring | 588 | 0,000 | 0,444 |
| Tidlig lighed forblev lighed | 443 | 0,000 | 0,000 |
Hvad ændrede sig, da vi kontrollerede timing og klientsammensætning?
Vi fastlagde yderligere sammenligninger, før udfaldene blev beregnet. Et udgangspunkt ved 30 minutter frem for 60 gav 4.507 par med tidligt forspring. Af dem skiftede forspringet side i 24,3 % frem mod 1.440 minutter. Resultatet efter første time var 21,0 % blandt 4.712 par med forspring. De forskellige nævnere er vigtige: Nogle par stod lige ved ét observationstidspunkt, men havde forspring ved det andet. [4]
Det viser ikke, at yderligere 30 minutters ventetid forhindrer en bestemt andel forkerte beslutninger. De 2 beregninger beskriver observerede rækkefølger på forskellige tidspunkter efter afsendelsen. De fordeler ikke en ventepolitik tilfældigt og evaluerer ikke konsekvenserne af en udrulningsbeslutning.
Vi begrænsede også sammenligningen efter første time til de 686 par, hvis 2 versioner havde identiske registrerede afsendelsestidsstempler. Af de 560 med tidligt forspring skiftede det senere side i 19,6 %. Kontrollen reducerer 1 timingforskel i de registrerede data. Ens tidsstempler beviser ikke samtidig levering eller tilsvarende målgruppeeksponering.
Nogle klient-id'er bidrager med langt flere par end andre. Hovedberegningen giver hvert par lige vægt. En særskilt kontrol finder først skiftandelen i hvert af de 403 klient-id'er med mindst 1 forspring efter første time og giver derefter hvert sådant id lige vægt. Gennemsnittet er 19,2 %. Det beskriver gennemsnittet af deres skiftandele, ikke procentdelen af klienter, der oplevede et skift. [4]
Samlet bevarer de fastlagte kontroller det praktiske problem: Et observeret tidligt forspring kan bestå, skifte side eller blive til lighed. De giver ikke en universel sandsynlighed for skift. Arkivet har gentagne registreringer inden for klient-id'er, og disse id'er er ikke en verificeret stikprøve af uafhængige virksomheder.
Skiftandele under 3 fastlagte sammenligninger
I SendGuard900K, hvis kilde daterer arkivet til 2022–2024, dividerer hver procentdel senere skift med par med et forspring ved det tidlige observationstidspunkt. Det senere observationstidspunkt er altid 1.440 minutter efter hver versions afsendelse.
| Sammenligning | Par med et tidligt forspring | Senere skift blandt tidlige forspring (%) |
|---|---|---|
| 60 til 1.440 minutter: alle par, der opfylder kriterierne | 4.712 | 21,0 % |
| 30 til 1.440 minutter: alle par, der opfylder kriterierne | 4.507 | 24,3 % |
| 60 til 1.440 minutter: identiske registrerede afsendelsestidsstempler | 560 | 19,6 % |
Giv den, der vælger næste udsendelse, mere end en vinderbetegnelse
En nyttig rapport begynder med den beslutning, der skal træffes. Vælger modtageren næste udsendelse, dokumenterer vedkommende en afsluttet test eller gennemgår tidligere test til et planlægningsmøde? En observation efter første time kan være relevant for hver opgave, men en rapport til én kan udelade oplysninger, en anden kræver.
Angiv den testede variabel og målet, før den førende version nævnes. Her betyder det afsendernavn eller emne efterfulgt af tælleren for unikke klik pr. 100 rapporterede afsendte. Et team, der bruger leverede e-mails, verificerede menneskelige klik eller køb, bør i stedet angive den definition. At holde målet synligt gør også senere sammenligninger lettere at fortolke.
Placér derefter observationstidspunktet ved forspringet eller ligheden. Medtag forskellen mellem de 2 mål og de underliggende tællere og afsendelsestotaler for begge versioner. Den, der læser rapporten, kan så se en retning, en forskel og den registrerede aktivitet bag den frem for at skulle udlede alle 3 af en fremhævet række.
En illustrativ overdragelsessætning kunne være: ”Ved [observationstidspunkt] beskriver [version eller lighed] den aktuelle rækkefølge i [defineret mål]; forskellen er [værdi] med [tællere og afsendelsestotaler] bag.” Klammerne er felter, der skal udfyldes fra en virkelig rapport, ikke kampagneresultater fra undersøgelsen. En særskilt sætning bør registrere den valgte handling og grunden.
Hvis et senere observationstidspunkt er tilgængeligt, så behold den tidligere observation, og vis, om forspringet bestod, skiftede side eller blev til lighed. Det lader en bagudrettet gennemgang skelne mellem det, der var kendt på tidspunktet, og det, der blev registreret senere. Medtag også par, der begyndte lige, medmindre rapporten udtrykkeligt kun vedrører par, der allerede havde et forspring.
Valg af version afhænger stadig af kampagnens mål, leveringsbegrænsninger, målekvalitet og omkostninger ved hvert valg. Arkivet fastlægger ikke den regel. Det giver en nyttig grund til at undgå, at ét ord, ”vinder”, står for både observation og beslutning.
Hold observationen knyttet til beslutningen

Angiv sammenligningen
Identificér den testede variabel, det registrerede mål og observationstidspunktet.
Hold evidensen samlet
Rapportér forspring eller lighed sammen med forskellen og tællerne bag.
Angiv beslutningen særskilt
Hold kampagnens beslutningsregel adskilt fra det observerede forspring eller den observerede lighed.
Tidlig e-mailevaluering er et etableret forskningsspørgsmål
Tidligere forskning behandler allerede e-mailresultater som noget, der udfolder sig over tid. Bonfrer og Drèzes “Real-Time Evaluation of E-mail Campaign Performance”, offentliggjort online i 2008 og i Marketing Science i 2009, beskriver en forudsigelsesmetode og en sekventiel beslutningsramme evalueret på 25 kampagner. Den generelle idé om, at tidlige og senere resultater kan variere, er ikke ny. [5]
Denne analyse besvarer et snævrere beskrivende spørgsmål med et andet arkiv: Hvor ofte bestod registrerede rækkefølger, skiftede side eller endte lige i parrene, der opfyldte kriterierne, og hvilke forskelle ledsagede forløbene? Den holder tidlige ligheder synlige og kontrollerer, om opgørelsen ændrer sig under fastlagte valg af timing og vægtning.
Skelnen er vigtig ved læsning af resultaterne. En forudsigelsesmodel prøver at estimere, hvad der sker bagefter under dens antagelser. Vores tabeller beskriver, hvad de offentliggjorte registreringer indeholder ved de angivne tidspunkter efter afsendelsen. De observerede procentdele kan kvalificere teamets forklaring af en rapport; de er ikke en model til at vælge næste kampagnes version.
Sådan blev de registrerede par sammenlignet
SendGuard900K indeholder 908.229 offentliggjorte kampagneregistreringer. Kildebeskrivelsen angiver produktionsmetadata fra 2022–2024. Vi screenede 6.801 grupper identificeret ved kombinationen af klient-id og test-id og beholdt derefter 5.743 grupper med præcis 2 observerede testdelregistreringer, der opfyldte kriterierne, og positive rapporterede afsendelsesantal. Registreringer af endelig udrulning blev udeladt fra parsammenligningen; deres tilstedeværelse var ikke et krav. [1] [6]
De bevarede par spænder over 473 klient-id'er. Præcis 2 observerede registreringer, der opfylder kriterierne, fastslår ikke, at hvert oprindeligt eksperiment kun havde 2 konfigurerede varianter, at arkivet er komplet, eller at målgrupper blev tilfældigt fordelt. Vi beskriver derfor observerede par frem for en verificeret samling af fuldstændige randomiserede eksperimenter.
For hver version bruger beregningen dens tæller for unikke klik ved 30, 60 eller 1.440 minutter og samme arkiverede nævner for rapporterede afsendte. Hvert observationstidspunkt måles i forhold til versionens afsendelse. Et primært par behøver ikke dele klokkeslæt for afsendelse. Kontrollen med samme tidsstempel er en særskilt afgrænsning, ikke en antagelse anvendt på hvert par.
Alle krævede tællere i parrene, der opfyldte kriterierne, var tilgængelige, gyldige og ikke-negative; ingen oversteg sit rapporterede afsendelsesantal. Ingen tæller faldt på tværs af de 3 observationstidspunkter. Kontrollerne understøtter den registrerede aritmetik, men kan ikke fastslå betydningen af et unikt klik, botfiltrering, levering eller om senere observationer fanger alle endelige svar. [6]
Vi afgør forspring og lighed ved præcise sammenligninger af de underliggende forholdstal før afrunding. Forskelle er absolutte forskelle i registrerede klik pr. 100 afsendte. Medianer og andre kvantiler bruger reglen om nærmeste rang: Sortér værdierne, og vælg den angivne rang uden interpolation. Figurerne afrunder procentdele til 1 decimal og medianforskelle til 3; figurdownloaden bevarer 6 decimaler, hvor det er relevant.
Metoden fastlagde den struktur, der opfylder kriterierne, observationstidspunkter, 5 forløb, antals- og forskelsopsummeringer, timingkontroller og beregningen med lige klientvægt, før udfaldene blev læst. Alle fastlagte aggregerede tabeller forbliver i forskningsdownloaden, herunder nulantal og kvalitetskontroller. Uafhængig kildereproduktion matchede de fulde aggregerede output. Det er beskrivende arkivresultater uden konfidensintervaller, signifikanstest eller påstand om repræsentativ brancheudvælgelse. [7]
- Download figurværdier og omfangsbetegnelser (CSV)
- Download alle fastlagte aggregerede tabeller, metode og analysekode (ZIP)
Figur-CSV-filen indeholder 31 numeriske værdier, 1 pr. datarække, fra de 13 rækker vist på tværs af 3 figurer. ZIP-filen bevarer alle 11 aggregerede tabeller, kildekontroller og reproduktionskode. Den indeholder ingen rækker på kampagneniveau eller klient-/testidentifikatorer. Oversat vejledning medfølger; reproduktion af analysen kræver den særskilt downloadede kildefil. Numeriske downloads bruger decimalpunktum.
Kilder og noter
- Kilde: Bobek, Nalepa, Obara, Suszalski og Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, version 1.0.0. Kilden angiver kampagnemetadata fra 2022–2024 og tilskriver ophavsret til Freshmail, 2025. Analysen bruger 5.743 observerede par, der opfylder kriterierne, ikke alle 908.229 kampagnerækker. Af parrene er 5.647 betegnet sender_name og 96 topic.
- Blandt 4.712 forspring efter første time beholdt 3.510 forspringet, 991 skiftede side, og 211 endte senere lige: 74,5 %, 21,0 % og 4,5 %. Blandt 1.031 tidlige ligheder blev 588 til et forspring, og 443 forblev lige: 57,0 % og 43,0 %. Figuren med 5 forløb dividerer i stedet hvert antal med alle 5.743 par. Værdier beregnes før visningsafrunding.
- Målet er tælleren for unikke klik divideret med versionens faste rapporterede afsendelsesantal, ganget med 100. Klassifikation af forspring og lighed bruger præcise forholdstal, ikke afrundede visninger. Absolutte forskelle måles i registrerede klik pr. 100 afsendte. For par med skift er den senere median 0,109543 med første og tredje kvartil på 0,024817 og 0,336215. Alle viste nulværdier i mediantabellen med 5 forløb er præcise nuller.
- Sammenligningen ved 30 minutter har 4.507 tidlige forspring, herunder 1.093 senere skift. Afgrænsningen til samme registrerede tidsstempel har 686 par, herunder 560 tidlige forspring og 110 skift. Hovedresultatet med lige klientvægt tager gennemsnittet af skiftandele inden for klienter på tværs af 403 klient-id'er med mindst 1 tidligt forspring. Gennemsnittet er 19,227847 %; det er hverken en procentdel af klientantal eller et estimat for repræsentative virksomheder.
- Bonfrer og Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; offentliggjort online 7. oktober 2008, tidsskriftsudgave 2009. Udgiverens resumé beskriver en forudsigende split-hazard-tilgang, 25 kampagner og en sekventiel beslutningsramme. Det understøtter den tidligere forskning i tidlig e-mailevaluering, ikke validering af vores beskrivende arkivprocentdele.
- Den fastlagte kildescreening bevarer præcis 2 observerede testdelregistreringer, der opfylder kriterierne, pr. sammensat klient-/testgruppe og udelader endelige udrulningsrækker. De offentlige felter fastslår ikke fuldt ud afsendelsesurets start-/slutkonvention eller afsendelsesvarighed, nøglen for unikke klik, udelukkende menneskelig aktivitet, nævnere for leverede e-mails, fuldstændig oprindelig eksperimentfordeling eller udtrækkets modenhed. Gyldige, ikke-faldende tællere løser ikke begrænsningerne. Identiske registrerede afsendelsestidsstempler beviser ikke samtidig levering.
- SendGuard900K er udgivet under Creative Commons Attribution 4.0 International. Forskningspakken indeholder analysekode, den fastlagte metode og afledte aggregerede tabeller; den videredistribuerer ikke registreringer på kampagneniveau eller klient-/testidentifikatorer. Reproduktion fra kilden kræver særskilt download af den oprindelige fil. Den fælles pakke indeholder oversat vejledning.
Den engelske artikel er kildeudgaven. Alle sprogudgaver beskriver samme historiske SendGuard900K-arkiv, hvis kilde angiver registreringer fra 2022–2024. Oversættelse gør ikke resultaterne til et lokalt markedsbenchmark eller et aktuelt branchebenchmark.