A/B-testning av e-post: vad som ändrades efter den första timmen

En rapport om ett e-posttest visar att en version leder efter en timme. Leder den fortfarande senare, och hur stor är skillnaden? I det här historiska arkivet bestod de flesta ledningar, men byten av ledande version och oavgjorda resultat ger skäl att behålla både mättidpunkten och siffrorna i rapporten.

Influence IQ:s analys av SendGuard900K, vars källa uppger att kampanjposterna är från 2022–2024. Studien omfattar 5 743 observerade par från 473 klient-ID:n, främst tester av avsändarnamn. Den beskriver registrerade klickmått, inte enbart mänskliga klick, intäkter eller ett representativt jämförelsevärde för e-post.

Sammanfattning

En tidig rapport om ett A/B-test av e-post kan visa vilken version som leder utan att fastställa hur jämförelsen kommer att se ut senare. Bland 4 712 observerade par i SendGuard900K där en version hade ett strikt högre värde vid 60 minuter behöll 74,5 % samma ledande version vid 1 440 minuter, i 21,0 % gick ledningen över till den andra versionen och 4,5 % blev oavgjorda. Måttet är den registrerade räknaren för unika klick dividerad med det rapporterade antalet skickade e-postmeddelanden, multiplicerat med 100. Varje version har sitt eget fasta antal skickade meddelanden som nämnare. Källan uppger att posterna är från 2022–2024. Av de 5 743 par som uppfyllde urvalskraven var 5 647 tester av avsändarnamn. [1]

De övriga 1 031 paren var oavgjorda efter den första timmen. I 57,0 % av dem hade en version senare tagit ledningen. För par där ledningen gick över till den andra versionen var medianen för den senare skillnaden 0,110 registrerade klick per 100 skickade meddelanden. Resultaten talar för att rapportera tid sedan utskicket, ledning eller oavgjort, skillnad och uppgifter om antalen tillsammans. De identifierar inte verkliga vinnare, en optimal väntetid eller effekten av att skjuta upp ett slututskick.

Anta att du förbereder nästa utskick av ett nyhetsbrev. Du öppnar A/B-rapporten, ser att en version leder och behöver tala om för en kollega vad nästa steg är. ”Den här vann” går snabbt att skriva. Det hoppar också över 2 frågor: hur stor är ledningen, och när registrerades jämförelsen?

Vi jämförde registreringarna efter den första timmen och efter 24 timmar för samma par av e-postversioner. De flesta ledningar från den första timmen bestod. Hela bilden omfattar också par där ledningen gick över till den andra versionen, ledningar som blev oavgjorda och oavgjorda resultat där en version senare tog ledningen. Dessa förlopp hjälper till att förklara vad en tidig rapport säger innan någon använder den för att välja nästa utskick.

Samma par av e-postversioner vid 2 mättidpunkter

2 genomskinliga paneler innehåller vardera ett marinblått kuvert med ett runt sigill och ett salviagrönt kuvert med ett rombformat sigill, under konturen av en klocka utan visare. Ett guldfärgat band förbinder panelerna.
Konceptuell illustration av samma 2 e-postversioner observerade vid 2 mättidpunkter.

De flesta ledningar från den första timmen bestod, men inte alla

Vid 60 minuter hade 4 712 av de 5 743 par som uppfyllde urvalskraven en ledning: en version hade ett högre registrerat klickmått än den andra. Vid 1 440 minuter, eller 24 timmar efter respektive versions utskick, ledde samma version fortfarande i 3 510 par. I ytterligare 991 par ledde den andra versionen, medan 211 var oavgjorda. Bland paren som började med en ledning behöll alltså 74,5 % samma ledande version, 21,0 % bytte ledande version och 4,5 % blev oavgjorda. [2]

Det här är jämförelser av ett visst registrerat mått. Vi dividerar varje versions räknare för unika klick med dess rapporterade antal skickade e-postmeddelanden och multiplicerar med 100. Enheten blir registrerade klick per 100 skickade meddelanden. En ledning innebär ett högre värde på det måttet, hur liten skillnaden än är. Det innebär inte ett statistiskt signifikant resultat.

Det är relevant att ha majoriteten i åtanke. Arkivet visar inte att rapporterna efter den första timmen i allmänhet fick motsatt resultat senare. Det visar att alla förloppen förekom: en bibehållen ledning, ett byte av ledande version och ett senare oavgjort resultat. En rapport som bara registrerar den tidiga rangordningen förlorar skillnaden mellan dessa senare förlopp.

En rapport efter den första timmen kan korrekt beskriva den information som registrerades då, även om rangordningen senare ändras. Att kalla ett byte av ledande version för en ”falsk vinnare” skulle gå längre: det skulle behandla den senare rangordningen som sanningen och förutsätta att den tidiga rapporten gjorde anspråk på mer än en aktuell ledning. Här behålls båda observationerna. Jämförelsen visar en ändrad registrerad rangordning, inte en felfrekvens för ett beslutssystem.

Källan är också snävare än vad det allmänna uttrycket ”A/B-testning av e-post” antyder. Av paren som uppfyllde urvalskraven hade 5 647 etiketten avsändarnamn och 96 etiketten ämne. Tester av avsändarnamn står därmed för 98,3 % av analysen. Resultaten bör inte presenteras som ett jämförelsevärde för ämnesrader eller som en uppskattning som gäller alla e-postplattformar.

Diagrammet nedan använder alla 5 743 par som nämnare, även de 1 031 som började oavgjort. Då blir alla observerade förlopp synliga. De 991 bytena av ledande version motsvarar 17,3 % av alla par, men 21,0 % av de 4 712 som hade en tidig ledning. Båda siffrorna är korrekta. De besvarar olika frågor.

5 förlopp omfattar alla 5 743 observerade par av e-postversioner

Från 60 till 1 440 minuter efter respektive versions utskick i SendGuard900K, vars källa daterar arkivet till 2022–2024. En ledning innebär en högre räknare för unika klick per rapporterat skickat e-postmeddelande. Oavgjorda resultat bygger på exakta kvoter.

Läs figurvärdena
Observerat förloppObserverade parAndel av alla 5 743 par (%)
Tidig ledning bestod3 51061,1 %
Tidig ledning gick över till den andra versionen99117,3 %
Från tidig ledning till oavgjort2113,7 %
Från tidigt oavgjort till ledning58810,2 %
Tidigt oavgjort förblev oavgjort4437,7 %
Varje procentsats här använder alla 5 743 par. De första 3 raderna innehåller tillsammans 4 712 par med en strikt tidig ledning. De sista 2 innehåller 1 031 tidigt oavgjorda par. Textens villkorade procentsatser för byten av ledande version och oavgjorda par som får en ledning använder dessa separata utgångsgrupper.

Ett tidigt oavgjort resultat är en annan utgångspunkt

I en oavgjord rapport efter den första timmen finns ingen tidig ledning som kan bestå eller gå över till den andra versionen. I arkivet fick 588 av de 1 031 tidigt oavgjorda paren senare en ledning, medan 443 förblev oavgjorda. Det motsvarar 57,0 % av de tidigt oavgjorda paren. Andelen ska inte läggas till andelen byten av ledande version, som utgår från en annan grupp.

Många tidigt oavgjorda par hade också lite registrerad aktivitet. I 655 av de 1 031 oavgjorda paren var båda räknarna för unika klick 0 efter den första timmen. Andra oavgjorda par kunde ha positiva räknarvärden med exakt lika kvoter. Vi klassificerar lika värden utifrån de underliggande antalen och antalet skickade meddelanden, inte utifrån avrundade procentsatser i ett diagram. [3]

För ett rapporteringsteam skiljer detta mellan ”ingen version leder i det registrerade måttet” och ”de 2 versionerna presterar lika”. Det första är en observation vid en angiven tid sedan utskicket. Det andra skulle kräva belägg som den här beskrivande jämförelsen inte ger. Att en del oavgjorda par senare fick en ledning fastställer inte vilken version som borde ha valts tidigare.

Nämnaren kan kontrolleras med en kort beräkning utifrån arkivets faktiska antal. Dividera 588 med 1 031 för att beskriva vad som hände med tidigt oavgjorda par. Dividera 991 med 4 712 för att beskriva byten av ledande version bland par med en tidig ledning. Dividera något av dessa antal med 5 743 bara när frågan gäller alla par som uppfyllde urvalskraven. Rapportens rubrik bör tydligt ange utgångsgruppen.

Ett byte av ledande version säger inget om skillnadens storlek

De 991 par där ledningen gick över till den andra versionen hade en absolut skillnad med medianen 0,062 registrerade klick per 100 skickade meddelanden efter den första timmen och 0,110 efter 24 timmar. Det är skillnader mellan de 2 versionernas registrerade mått, inte ytterligare personer, tillskrivna köp eller procentuella intäktsförändringar. [3]

Nämnaren med skickade meddelanden är viktig för att förstå skillnaden. En skillnad i ojusterade klickräknare räcker inte för att jämföra versioner med olika antal skickade meddelanden. Varje räknare måste först divideras med sitt eget rapporterade antal skickade meddelanden. En skillnad på 0,110 i det här måttet ska inte heller beskrivas som en relativ förbättring på 0,110 %. Det är en absolut skillnad på skalan per 100 skickade meddelanden, utan något kopplat försäljningsvärde.

Den senare skillnadens storlek varierade. För par där ledningen gick över till den andra versionen låg den mittersta hälften mellan ungefär 0,025 och 0,336 registrerade klick per 100 skickade meddelanden. Medianen beskriver alltså ett typiskt läge i gruppen. Den betyder inte att varje byte av ledande version skedde vid en liten skillnad. Rangordningen kan ändras vid en liten skillnad, och en del registrerade skillnader var mycket större.

De andra förloppen ger användbart sammanhang. För par som behöll samma ledande version var medianen för den senare skillnaden 0,291. För par som gick från oavgjort till en ledning var medianen 0,444. Ett senare oavgjort resultat har per definition en skillnad på exakt 0. Tabellen håller ihop alla 5 förlopp i stället för att bara lyfta fram bytena av ledande version.

Kolumnerna för tidig och senare mättidpunkt visar separata medianer inom varje rad. De följer inte ett typiskt par, och att subtrahera dem ger inte medianen av de enskilda parens förändringar. Läs dem som sammanfattningar av skillnaden vid respektive mättidpunkt. För att beskriva jämförelsens riktning använder du förloppets etikett tillsammans med storleken.

Grupperna definieras av vad som hände vid båda mättidpunkterna. Deras medianer för skillnaden kan inte användas som framåtblickande regler för att upptäcka ett kommande byte av ledande version i en ny kampanj. Den lägre tidiga medianen bland par som bytte ledande version är i synnerhet ingen validerad gräns för att avgöra när det är säkert att agera på en rapport.

Uppgifter om antalen hör hemma bredvid skillnaden. Bland alla 4 712 par med en ledning efter den första timmen var medianen för de 2 versionernas sammanlagda räknare för unika klick 9. I 488 av dessa par var den sammanlagda räknaren exakt 1. Det beskriver underlaget vid start bland par med en tidig ledning. Det visar inte att just dessa par orsakade det totala antalet byten av ledande version eller att låga antal förklarar förändringarna.

Medianen för skillnaden varierar mellan de 5 observerade förloppen

Absoluta skillnader mellan de 2 versionernas registrerade klickmått vid 60 och 1 440 minuter i SendGuard900K, vars källa daterar arkivet till 2022–2024. Varje mått är räknaren för unika klick dividerad med rapporterade skickade e-postmeddelanden, multiplicerat med 100.

Läs figurvärdena
Observerat förloppObserverade parMedian för skillnaden vid 60 minuter (registrerade klick per 100 skickade meddelanden)Median för skillnaden vid 1 440 minuter (registrerade klick per 100 skickade meddelanden)
Tidig ledning bestod3 5100,1750,291
Tidig ledning gick över till den andra versionen9910,0620,110
Från tidig ledning till oavgjort2110,2950,000
Från tidigt oavgjort till ledning5880,0000,444
Tidigt oavgjort förblev oavgjort4430,0000,000
Skillnaderna anges i registrerade klick per 100 skickade meddelanden, inte verifierade mänskliga klickfrekvenser eller ytterligare köp. Varje median använder paren i sin rad. Ett visat värde på 0 är exakt. Positiva medianer avrundas till 3 decimaler. Förloppen använder båda mättidpunkterna, så dessa medianer är inte framåtblickande beslutsgränser.

Vad som ändrades när vi kontrollerade tidpunkter och klientfördelning

Vi bestämde ytterligare jämförelser innan vi beräknade utfallen. Att börja vid 30 minuter i stället för 60 gav 4 507 par med en tidig ledning. Av dem hade 24,3 % bytt ledande version vid 1 440 minuter. Resultatet efter den första timmen var 21,0 % bland 4 712 par med en ledning. De olika nämnarna är viktiga: en del par var oavgjorda vid en mättidpunkt men hade en ledning vid den andra. [4]

Detta visar inte att ytterligare 30 minuters väntan förhindrar en viss andel felaktiga beslut. De 2 beräkningarna beskriver observerade rangordningar vid olika tider sedan utskicket. De tilldelar inte slumpmässigt en väntepolicy och utvärderar inte följderna av ett beslut om slututskicket.

Vi begränsade också jämförelsen efter den första timmen till de 686 par vars 2 versioner hade identiska registrerade tidsstämplar för utskicket. Av de 560 som hade en tidig ledning bytte 19,6 % senare ledande version. Kontrollen minskar 1 tidsskillnad i registrerade data. Matchande tidsstämplar bevisar inte samtidig leverans eller likvärdig exponering av målgrupperna.

En del klient-ID:n bidrar med betydligt fler par än andra. I huvudberäkningen väger varje par lika. En separat kontroll beräknar först andelen byten av ledande version inom vart och ett av de 403 klient-ID:n som hade minst 1 ledning efter den första timmen. Därefter får varje sådant ID samma vikt. Medelvärdet är 19,2 %. Det beskriver medelvärdet av deras andelar byten av ledande version, inte andelen klienter som hade ett sådant byte. [4]

Sammantaget lämnar de förutbestämda kontrollerna den praktiska frågan oförändrad: en observerad tidig ledning kan bestå, gå över till den andra versionen eller bli oavgjord. De ger ingen allmängiltig sannolikhet för byte av ledande version. Arkivet har återkommande poster inom klient-ID:n, och dessa ID:n är inte ett verifierat urval av oberoende företag.

Andelen byten av ledande version i 3 förutbestämda jämförelser

I SendGuard900K, vars källa daterar arkivet till 2022–2024, dividerar varje procentsats senare byten av ledande version med antalet par som hade en strikt ledning vid den tidiga mättidpunkten. Den senare mättidpunkten är alltid 1 440 minuter efter respektive versions utskick.

Läs figurvärdena
JämförelsePar med en strikt tidig ledningSenare byten av ledande version bland par med en strikt tidig ledning (%)
60 till 1 440 minuter: alla par som uppfyllde urvalskraven4 71221,0 %
30 till 1 440 minuter: alla par som uppfyllde urvalskraven4 50724,3 %
60 till 1 440 minuter: identiska registrerade tidsstämplar för utskick56019,6 %
Jämförelserna vid 60 och 30 minuter börjar med samma 5 743 par men har olika nämnare för par med en strikt ledning. Begränsningen till identiska tidsstämplar börjar med 686 par. Jämförelserna uppskattar inte en kausal nytta av att vänta och bevisar inte samtidig leverans.

Ge den som väljer nästa utskick mer än en vinnaretikett

En användbar rapport utgår från beslutet som ska fattas. Ska mottagaren välja nästa utskick, dokumentera ett avslutat test eller granska tidigare tester inför ett planeringsmöte? En observation efter den första timmen kan vara relevant för alla uppgifterna, men en rapport som har tagits fram för en av dem kan sakna information som behövs för en annan.

Ange testvariabeln och måttet innan du anger vilken version som leder. Här innebär det avsändarnamn eller ämne, följt av räknaren för unika klick per 100 rapporterade skickade meddelanden. Ett team som använder levererade e-postmeddelanden, verifierade mänskliga klick eller köp bör ange den definitionen i stället. Att hålla måttet synligt gör även senare jämförelser lättare att tolka.

Placera sedan mättidpunkten bredvid ledningen eller det oavgjorda resultatet. Ta med skillnaden mellan de 2 måttvärdena samt de underliggande räknarvärdena och antalen skickade meddelanden för båda versionerna. Den som läser rapporten kan då se en riktning, en skillnad och den registrerade aktiviteten bakom den, i stället för att behöva dra slutsatser om alla 3 utifrån en markerad rad.

En illustrativ mening vid överlämningen skulle kunna vara: ”Vid [mättidpunkt] beskriver [version eller oavgjort] den aktuella rangordningen i [definierat mått]. Skillnaden är [värde], med [räknarvärden och antal skickade meddelanden] som underlag.” Hakparenteserna är fält som ska fyllas i utifrån en verklig rapport, inte kampanjresultat från den här studien. En separat mening bör ange den valda åtgärden och skälet till den.

Om en senare mättidpunkt finns tillgänglig behåller du den tidigare observationen och visar om ledningen bestod, gick över till den andra versionen eller blev oavgjord. Då kan en tillbakablickande granskning skilja det som var känt vid tillfället från det som registrerades senare. Ta också med par som började oavgjort, om inte rapporten uttryckligen bara gäller par som redan hade en ledning.

Valet av version beror fortfarande på kampanjens mål, leveransbegränsningar, mätkvalitet och kostnaden för respektive val. Arkivet fastställer inte den regeln. Det ger ett användbart skäl att undvika att låta ett enda ord, ”vinnare”, stå för både observationen och beslutet.

Låt observationen följa med beslutet

Marinblå och salviagröna kuvert är förbundna med separata kort där varje kuvert paras ihop med konturen av en klocka utan visare. En pil leder till en öppen anteckningsbok med de 2 korten bredvid en penna.
  1. Ange vad som jämförs

    Ange testvariabeln, det registrerade måttet och mättidpunkten.

  2. Håll ihop underlaget

    Rapportera ledningen eller det oavgjorda resultatet tillsammans med skillnaden och räknarvärdena bakom den.

  3. Ange beslutet separat

    Håll kampanjens beslutsregel åtskild från den observerade ledningen eller det oavgjorda resultatet.

Konceptuell illustration av hur varje e-postversion och dess observationstid tas med i en rapport.

Tidig utvärdering av e-post är en etablerad forskningsfråga

Tidigare forskning behandlar redan e-postresultat som något som utvecklas över tid. Bonfrer och Drèzes ”Real-Time Evaluation of E-mail Campaign Performance”, publicerad på nätet 2008 och i Marketing Science 2009, beskriver en prediktiv metod och ett ramverk för sekventiella beslut som utvärderades på 25 kampanjer. Den allmänna tanken att tidiga och senare resultat kan skilja sig är inte ny. [5]

Den här analysen besvarar en snävare beskrivande fråga med ett annat arkiv: hur ofta bestod rangordningen, gick ledningen över till den andra versionen eller blev resultatet oavgjort bland paren som uppfyllde urvalskraven, och vilka skillnader hörde till dessa förlopp? Den håller tidigt oavgjorda resultat synliga och kontrollerar om bilden ändras med förutbestämda val av tidpunkter och viktning.

Skillnaden är viktig när man läser resultaten. En prediktiv modell försöker uppskatta vad som händer härnäst utifrån sina antaganden. Våra tabeller beskriver vad de publicerade posterna innehåller vid angivna tider sedan utskicket. De observerade procentsatserna kan ge underlag för hur ett team förklarar en rapport. De är inte en modell för att välja version till nästa kampanj.

Så jämfördes de registrerade paren

SendGuard900K innehåller 908 229 publicerade kampanjposter. Källbeskrivningen uppger att produktionsmetadata är från 2022–2024. Vi granskade 6 801 grupper identifierade genom kombinationen klient-ID och test-ID och behöll sedan 5 743 grupper med exakt 2 observerade poster för testdelar som uppfyllde urvalskraven och positiva rapporterade antal skickade meddelanden. Poster för det slutliga utskicket uteslöts från parjämförelsen. Det krävdes inte att sådana poster fanns. [1] [6]

De behållna paren omfattar 473 klient-ID:n. Exakt 2 observerade poster som uppfyller urvalskraven fastställer inte att varje ursprungligt experiment bara hade 2 konfigurerade versioner, att dess arkiv är komplett eller att målgrupperna tilldelades slumpmässigt. Därför beskriver vi observerade par snarare än en verifierad samling kompletta randomiserade experiment.

För varje version använder beräkningen dess räknare för unika klick vid 30, 60 eller 1 440 minuter och samma arkiverade nämnare för rapporterade skickade meddelanden. Varje mättidpunkt räknas i förhållande till den versionens utskick. Ett par i huvudanalysen behöver inte ha samma klockslag för utskicken. Kontrollen med samma tidsstämpel är en separat begränsning, inte ett antagande för varje par.

Alla räknarvärden som krävdes i paren som uppfyllde urvalskraven var tillgängliga, giltiga och icke-negativa. Inget översteg det rapporterade antalet skickade meddelanden. Ingen räknare minskade mellan de 3 mättidpunkterna. Kontrollerna stöder den registrerade beräkningen, men kan inte fastställa vad ett unikt klick betyder, hur botar filtreras, om meddelanden levereras eller om senare observationer fångar alla svar som till slut kommer. [6]

Vi avgör ledningar och oavgjorda resultat genom att jämföra de underliggande kvoterna exakt före avrundning. Skillnaderna är absoluta skillnader i registrerade klick per 100 skickade meddelanden. Medianer och andra kvantiler använder nearest-rank-regeln: sortera värdena och välj den angivna rangen utan interpolering. Figurerna avrundar procentsatser till 1 decimal och medianer för skillnader till 3. Figurnedladdningen behåller 6 decimaler där det är tillämpligt.

Metoden fastställde urvalsstrukturen, mättidpunkterna, de 5 förloppen, sammanfattningarna av antal och skillnader, tidskontrollerna och beräkningen med lika vikt per klient innan utfallen lästes. Alla förutbestämda aggregerade tabeller finns kvar i forskningsnedladdningen, även nollantal och kvalitetskontroller. En oberoende reproduktion från källan gav samma fullständiga aggregerade resultat. Det här är beskrivande arkivresultat utan konfidensintervall, signifikanstester eller anspråk på ett representativt branschurval. [7]

Figurernas CSV-fil innehåller 31 numeriska värden, 1 per datarad, från de 13 rader som visas i 3 figurer. ZIP-filen behåller alla 11 aggregerade tabeller, källkontroller och reproduktionskod. Den innehåller inga rader på kampanjnivå eller klient-/testidentifierare. Översatta instruktioner ingår. Reproduktion av analysen kräver att källfilen laddas ner separat. Numeriska nedladdningar använder decimalpunkt.

Källor och noter

  1. Källa: Bobek, Nalepa, Obara, Suszalski och Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, version 1.0.0. Källan uppger att kampanjmetadata är från 2022–2024 och anger Freshmail som upphovsrättsinnehavare, 2025. Analysen använder 5 743 observerade par som uppfyller urvalskraven, inte alla 908 229 kampanjrader. Av dessa par har 5 647 etiketten sender_name och 96 etiketten topic.
  2. Bland 4 712 par med en strikt ledning efter den första timmen behöll 3 510 samma ledande version, 991 bytte ledande version och 211 blev senare oavgjorda: 74,5 %, 21,0 % och 4,5 %. Bland 1 031 tidigt oavgjorda par fick 588 en strikt ledning och 443 förblev oavgjorda: 57,0 % och 43,0 %. Figuren med 5 förlopp dividerar i stället varje antal med alla 5 743 par. Värdena beräknas före avrundning för visning.
  3. Måttet är räknaren för unika klick dividerad med versionens fasta rapporterade antal skickade meddelanden, multiplicerat med 100. Klassificeringen av ledning och oavgjort använder exakta kvoter, inte avrundade visningsvärden. Absoluta skillnader har enheten registrerade klick per 100 skickade meddelanden. För par som bytte ledande version är den senare medianen 0,109543, med första och tredje kvartilen 0,024817 och 0,336215. Alla visade nollor för skillnader i mediantabellen med 5 förlopp är exakta nollor.
  4. Jämförelsen vid 30 minuter har 4 507 par med en strikt tidig ledning, varav 1 093 senare bytte ledande version. Begränsningen till samma registrerade tidsstämpel omfattar 686 par, varav 560 hade en strikt tidig ledning och 110 bytte ledande version. Huvudresultatet med lika vikt per klient är medelvärdet av andelarna byten av ledande version inom 403 klient-ID:n med minst 1 strikt tidig ledning. Medelvärdet är 19,227847 %. Det är varken en andel av antalet klienter eller en uppskattning för ett representativt företagsurval.
  5. Bonfrer och Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; publicerad på nätet 7 oktober 2008, tidskriftsutgåva 2009. Utgivarens sammanfattning beskriver en prediktiv split-hazard-metod, 25 kampanjer och ett ramverk för sekventiella beslut. Den visar att frågan om tidig utvärdering av e-post har studerats tidigare, men validerar inte våra beskrivande procentsatser från arkivet.
  6. Det förutbestämda källurvalet behåller exakt 2 observerade poster för testdelar som uppfyller urvalskraven per sammansatt klient-/testgrupp och utesluter rader för slututskicket. De offentliga fälten fastställer inte fullt ut om utskickets klocka utgår från start eller slut, utskickets varaktighet, vilken nyckel som definierar unika klick, om aktiviteten enbart är mänsklig, nämnare för levererade e-postmeddelanden, den fullständiga tilldelningen i det ursprungliga experimentet eller om registreringarna var färdiga vid datauttaget. Giltiga räknare som inte minskar löser inte dessa begränsningar. Identiska registrerade tidsstämplar för utskick bevisar inte samtidig leverans.
  7. SendGuard900K ges ut under Creative Commons Attribution 4.0 International. Forskningspaketet innehåller analyskod, den förutbestämda metoden och härledda aggregerade tabeller. Det återdistribuerar inte poster på kampanjnivå eller klient-/testidentifierare. Reproduktion från källan kräver en separat nedladdning av originalfilen. Det gemensamma paketet innehåller översatta instruktioner.

Den engelska artikeln är källutgåvan. Alla språkversioner beskriver samma historiska SendGuard900K-arkiv, vars källa uppger att posterna är från 2022–2024. Översättningen gör inte resultaten till ett jämförelsevärde för den lokala marknaden eller dagens bransch.

Håll måttet och observationsperioden tydliga