A/B testování e-mailů: co se změnilo po první hodině

Report e-mailového testu ukazuje, že po hodině vede jedna verze. Zůstane v čele i později a jak velký je rozdíl? V tomto historickém archivu většina náskoků přetrvala. Obraty v pořadí a shody hodnot ale ukazují, proč v reportu ponechat čas měření i konkrétní čísla.

Analýza Influence IQ nad daty SendGuard900K, jejichž zdroj uvádí záznamy kampaní z let 2022–2024. Studie zahrnuje 5 743 pozorovaných dvojic napříč 473 ID klientů, převážně testů jména odesílatele. Popisuje zaznamenané metriky kliknutí, nikoli výhradně lidská kliknutí, tržby ani reprezentativní e-mailový benchmark.

Abstrakt

Počáteční report A/B testu e-mailů může ukázat, která verze vede, aniž by určoval, jak bude srovnání vypadat později. Ze 4 712 pozorovaných dvojic s náskokem v 60. minutě v datech SendGuard900K si 74,5 % tento náskok uchovalo v 1 440. minutě, u 21,0 % se pořadí obrátilo a u 4,5 % nastala shoda. Metrikou je zaznamenaný počet unikátních kliknutí vydělený vykázaným počtem odeslaných e-mailů a vynásobený 100. Každá verze používá svůj vlastní pevný počet odeslaných e-mailů. Zdroj uvádí záznamy z let 2022–2024; z 5 743 způsobilých dvojic tvořily 5 647 testy jména odesílatele. [1]

Zbývajících 1 031 dvojic mělo po první hodině shodné hodnoty; u 57,0 % z nich později vznikl náskok. Dvojice s obráceným pořadím měly medián pozdějšího rozdílu 0,110 zaznamenaného kliknutí na 100 odeslaných e-mailů. Výsledky podporují společné vykazování doby od odeslání, náskoku či shody, rozdílu a souvisejících počtů. Neurčují skutečné vítěze, optimální dobu čekání ani účinek odloženého rozeslání vybrané verze.

Představte si, že připravujete další rozesílku newsletteru. Otevřete report A/B testu, vidíte jednu verzi v čele a potřebujete kolegovi sdělit, co udělat dál. „Tahle vyhrála“ je rychlá zpráva. Zároveň vynechává 2 otázky: o kolik vede a kdy bylo toto srovnání zaznamenáno?

Porovnali jsme záznamy po první hodině a po 24 hodinách u stejných dvojic e-mailů. Většina náskoků z první hodiny vydržela. Úplný přehled ale zahrnuje i náskoky, které se obrátily nebo přešly ve shodu, a shody, z nichž později vznikl náskok. Tyto průběhy pomáhají vysvětlit, co počáteční report říká, ještě než podle něj někdo vybere příští rozesílku.

Stejná dvojice e-mailů ve 2 časech měření

2 průhledné panely, každý s tmavomodrou obálkou s kruhovou pečetí a šalvějově zelenou obálkou s kosočtvercovou pečetí pod obrysem hodin bez ručiček. Panely spojuje zlatá stuha.
Konceptuální ilustrace stejných 2 verzí e-mailu pozorovaných ve 2 časech měření.

Většina náskoků z první hodiny přetrvala, ale ne všechny

V 60. minutě mělo 4 712 z 5 743 způsobilých dvojic náskok: jedna verze měla vyšší zaznamenanou metriku kliknutí než druhá. V 1 440. minutě, tedy 24 hodin po odeslání každé verze, stále vedla stejná verze u 3 510 dvojic. U dalších 991 vedla druhá verze a u 211 nastala shoda. Mezi dvojicemi, které začínaly s náskokem, se tedy náskok u 74,5 % zachoval, u 21,0 % se pořadí obrátilo a u 4,5 % nastala shoda. [2]

Jde o srovnání konkrétní zaznamenané metriky. Počet unikátních kliknutí každé verze vydělíme jejím vykázaným počtem odeslaných e-mailů a vynásobíme 100. Výslednou jednotkou jsou zaznamenaná kliknutí na 100 odeslaných e-mailů. Náskok znamená vyšší hodnotu této metriky bez ohledu na to, jak malý rozdíl je. Neznamená statisticky významný výsledek.

Je dobré mít tuto většinu na paměti. Archiv neukazuje, že by se výsledky reportů z první hodiny obecně obracely. Ukazuje, že nastalo zachování náskoku, obrat v pořadí i pozdější shoda. Report, který zaznamená jen počáteční pořadí, rozdíly mezi těmito pozdějšími průběhy ztrácí.

Report z první hodiny může přesně popisovat tehdy zaznamenané informace, i když se pozdější pořadí liší. Označit obrat za „falešného vítěze“ by znamenalo jít dál: považovat pozdější pořadí za pravdu a předpokládat, že počáteční report tvrdil víc než jen aktuální náskok. Zde zachováváme obě pozorování. Srovnání ukazuje změnu zaznamenaného pořadí, nikoli chybovost rozhodovacího systému.

Zdroj je také užší, než naznačuje obecný pojem „A/B testování e-mailů“. Ze způsobilých dvojic bylo 5 647 označeno jako jméno odesílatele a 96 jako téma. Testy jména odesílatele tak tvoří 98,3 % této analýzy. Výsledky by se neměly prezentovat jako benchmark předmětů e-mailů ani jako odhad pro všechny e-mailové platformy.

Graf níže používá jako jmenovatel všech 5 743 dvojic včetně 1 031, které začínaly shodou. Zviditelňuje tak každý pozorovaný průběh. Celkem 991 obratů tvoří 17,3 % všech dvojic, ale 21,0 % ze 4 712 s počátečním náskokem. Obě čísla jsou správná; odpovídají na různé otázky.

Všech 5 743 pozorovaných dvojic e-mailů pokrývá 5 průběhů

Od 60. do 1 440. minuty po odeslání každé verze v datech SendGuard900K, jejichž zdroj datuje archiv do let 2022–2024. Náskok znamená vyšší počet unikátních kliknutí na vykázaný odeslaný e-mail; shody používají přesné poměry.

Zobrazit hodnoty grafu
Pozorovaný průběhPozorované dvojicePodíl ze všech 5 743 dvojic (%)
Počáteční náskok přetrval3 51061,1 %
Počáteční náskok se obrátil99117,3 %
Počáteční náskok přešel ve shodu2113,7 %
Z počáteční shody vznikl náskok58810,2 %
Počáteční shoda přetrvala4437,7 %
Každé procento zde používá všech 5 743 dvojic. První 3 řádky společně obsahují 4 712 dvojic s počátečním náskokem; poslední 2 obsahují 1 031 počátečních shod. Podmíněné podíly obratů a rozřešení shod v textu používají tyto oddělené výchozí skupiny.

Počáteční shoda je jiný výchozí stav

Report se shodou po první hodině nemá vedoucí verzi, jejíž náskok by se mohl zachovat nebo obrátit. V tomto archivu mělo 588 z 1 031 počátečních shod později náskok, zatímco u 443 shoda přetrvala. To odpovídá 57,0 % počátečních shod. Tento podíl se nemá přičítat k podílu obratů, který vychází z jiné skupiny.

Mnoho počátečních shod také obsahovalo málo zaznamenané aktivity. U 655 z 1 031 shodných dvojic byly oba počty unikátních kliknutí po první hodině nulové. Jiné shody mohly obsahovat kladné počty s přesně stejnými poměry. Shodu určujeme z podkladových počtů a celkových počtů odeslaných e-mailů, nikoli ze zaokrouhlených procent v grafu. [3]

Pro tým připravující reporty to odlišuje tvrzení „v zaznamenané metrice není náskok“ od tvrzení „2 verze si vedou stejně“. První je pozorování v uvedené době od odeslání. Druhé by vyžadovalo důkazy, které toto popisné srovnání neposkytuje. Pozdější vznik rozdílu u některých shod neurčuje, která verze měla být vybrána dříve.

Jmenovatel lze zkontrolovat krátkým výpočtem se skutečnými počty z archivu. Chcete-li popsat, co se stalo s počátečními shodami, vydělte 588 číslem 1 031. Chcete-li popsat obraty mezi počátečními náskoky, vydělte 991 číslem 4 712. Kterýkoli z těchto počtů dělte číslem 5 743 jen tehdy, týká-li se otázka všech způsobilých dvojic. Nadpis reportu by měl tuto výchozí skupinu uvádět výslovně.

Změna vedoucí verze nepopisuje velikost rozdílu

U 991 dvojic s obráceným pořadím činil medián absolutního rozdílu po první hodině 0,062 zaznamenaného kliknutí na 100 odeslaných e-mailů a po 24 hodinách 0,110. Jde o rozdíly mezi zaznamenanými metrikami 2 verzí, nikoli o další lidi, přiřazené nákupy nebo procentní změny tržeb. [3]

Při čtení tohoto rozdílu záleží na jmenovateli odeslaných e-mailů. Rozdíl v samotných počtech kliknutí nestačí ke srovnání verzí s různými celkovými počty odeslaných e-mailů. Každý počet kliknutí je nejprve nutné vydělit vlastním vykázaným počtem odeslaných e-mailů. Ani rozdíl 0,110 v této metrice se nemá popisovat jako relativní zlepšení o 0,110 %: jde o absolutní rozdíl na škále na 100 odeslaných e-mailů, bez přiřazené hodnoty prodeje.

Velikost pozdějšího rozdílu se lišila. U dvojic s obráceným pořadím ležela prostřední polovina přibližně mezi 0,025 a 0,336 zaznamenaného kliknutí na 100 odeslaných e-mailů. Medián tedy popisuje typickou polohu v této skupině; neznamená, že každý obrat byl malý. Pořadí se může změnit při malém rozdílu a některé zaznamenané rozdíly byly mnohem větší.

Užitečný kontext poskytují ostatní průběhy. Dvojice, u nichž náskok přetrval, měly medián pozdějšího rozdílu 0,291. Dvojice, které přešly ze shody k náskoku, měly medián pozdějšího rozdílu 0,444. Pozdější shoda má z definice přesný rozdíl nula. Tabulka zachovává všech 5 průběhů pohromadě a nezdůrazňuje jen obraty.

Počáteční a pozdější sloupec obsahují samostatné mediány v rámci každého řádku. Nesledují jednu typickou dvojici a jejich odečtením nezískáte medián změny napříč dvojicemi. Čtěte je jako souhrny rozdílu v každém čase měření. Směr srovnání popisujte pomocí označení průběhu spolu s velikostí rozdílu.

Tyto skupiny vymezuje to, co nastalo v obou časech měření. Jejich mediány rozdílů nelze použít jako předběžná pravidla k odhalení obratu v nové kampani. Zejména menší počáteční medián u dvojic s obráceným pořadím není ověřenou hranicí pro rozhodnutí, kdy je bezpečné podle reportu jednat.

Vedle rozdílu patří i související počty. Mezi všemi 4 712 dvojicemi s náskokem po první hodině byl medián součtu unikátních kliknutí 2 verzí roven 9. U 488 těchto dvojic byl součet přesně 1. To popisuje výchozí důkazy u počátečních náskoků; neukazuje to, že právě tyto dvojice způsobily celkový počet obratů ani že změny vysvětlují nízké počty.

Medián rozdílu se liší mezi 5 pozorovanými průběhy

Absolutní rozdíly mezi zaznamenanými metrikami kliknutí 2 verzí v 60. a 1 440. minutě v datech SendGuard900K, jejichž zdroj datuje archiv do let 2022–2024. Každá metrika je počet unikátních kliknutí vydělený vykázaným počtem odeslaných e-mailů a vynásobený 100.

Zobrazit hodnoty grafu
Pozorovaný průběhPozorované dvojiceMedián rozdílu v 60. minutě (zaznamenaná kliknutí na 100 odeslaných e-mailů)Medián rozdílu v 1 440. minutě (zaznamenaná kliknutí na 100 odeslaných e-mailů)
Počáteční náskok přetrval3 5100,1750,291
Počáteční náskok se obrátil9910,0620,110
Počáteční náskok přešel ve shodu2110,2950,000
Z počáteční shody vznikl náskok5880,0000,444
Počáteční shoda přetrvala4430,0000,000
Rozdíly jsou v zaznamenaných kliknutích na 100 odeslaných e-mailů, nikoli v ověřených mírách lidských kliknutí nebo dodatečných nákupech. Každý medián používá dvojice ve svém řádku. Zobrazená nula je přesná; kladné mediány jsou zaokrouhleny na 3 desetinná místa. Průběhy používají oba časy měření, takže tyto mediány nejsou předběžnými rozhodovacími hranicemi.

Co se změnilo při kontrole načasování a skladby klientů

Další srovnání jsme stanovili před výpočtem výsledků. Při počátečním měření po 30 minutách místo po 60 mělo počáteční náskok 4 507 dvojic. Z nich se u 24,3 % pořadí do 1 440. minuty obrátilo. Výsledek po první hodině činil 21,0 % mezi 4 712 dvojicemi s náskokem. Na odlišných jmenovatelích záleží: některé dvojice měly v jednom čase shodu a ve druhém náskok. [4]

To nedokazuje, že dalších 30 minut čekání zabrání určitému podílu chybných rozhodnutí. Tyto 2 výpočty popisují pozorovaná pořadí v různých dobách od odeslání. Náhodně nepřiřazují pravidlo čekání ani nehodnotí důsledky rozhodnutí o rozeslání vybrané verze.

Srovnání po první hodině jsme také omezili na 686 dvojic, jejichž 2 verze měly totožná zaznamenaná časová razítka odeslání. Z 560 s počátečním náskokem se u 19,6 % pořadí později obrátilo. Tato kontrola snižuje jeden rozdíl v načasování v zaznamenaných datech. Shodná časová razítka nedokazují současné doručení ani rovnocenné vystavení publika.

Některá ID klientů přispívají mnohem více dvojicemi než jiná. Hlavní výpočet dává každé dvojici stejnou váhu. Samostatná kontrola nejprve zjistí podíl obratů v rámci každého ze 403 ID klientů s alespoň 1 náskokem po první hodině a poté dá každému takovému ID stejnou váhu. Průměr činí 19,2 %. Popisuje průměr jejich podílů obratů, nikoli procento klientů, u nichž obrat nastal. [4]

Předem stanovené kontroly společně zachovávají praktickou otázku: pozorovaný počáteční náskok může přetrvat, obrátit se nebo přejít ve shodu. Nevytvářejí univerzální pravděpodobnost obratu. Archiv obsahuje opakované záznamy v rámci ID klientů a tato ID nejsou ověřeným vzorkem nezávislých firem.

Podíly obratů při 3 předem stanovených srovnáních

V datech SendGuard900K, jejichž zdroj datuje archiv do let 2022–2024, každé procento dělí pozdější obraty dvojicemi s náskokem v počátečním čase měření. Pozdější měření je vždy v 1 440. minutě po odeslání každé verze.

Zobrazit hodnoty grafu
SrovnáníDvojice s počátečním náskokemPozdější obraty mezi dvojicemi s počátečním náskokem (%)
Od 60. do 1 440. minuty: všechny způsobilé dvojice4 71221,0 %
Od 30. do 1 440. minuty: všechny způsobilé dvojice4 50724,3 %
Od 60. do 1 440. minuty: totožná zaznamenaná časová razítka odeslání56019,6 %
Srovnání po 60 a 30 minutách začínají se stejnými 5 743 dvojicemi, ale mají různé jmenovatele dvojic s náskokem. Omezení na totožná časová razítka začíná s 686 dvojicemi. Tato srovnání neodhadují kauzální přínos čekání ani nedokazují současné doručení.

Člověku vybírajícímu příští rozesílku dejte víc než označení vítěze

Užitečný report začíná rozhodnutím, které se má učinit. Vybírá příjemce příští rozesílku, dokumentuje dokončený test, nebo prochází minulé testy před plánovací schůzkou? Pozorování po první hodině může být důležité pro každý z těchto úkolů, ale report připravený pro jeden může vynechat informace potřebné pro jiný.

Než označíte vedoucí verzi, pojmenujte testovanou proměnnou a metriku. Zde to znamená jméno odesílatele nebo téma a poté počet unikátních kliknutí na 100 vykázaných odeslaných e-mailů. Tým používající doručené e-maily, ověřená lidská kliknutí nebo nákupy by měl uvést příslušnou definici. Viditelná definice metriky také usnadňuje interpretaci pozdějších srovnání.

Dále k náskoku či shodě připojte čas měření. Uveďte rozdíl mezi 2 metrikami i podkladové počty kliknutí a odeslaných e-mailů obou verzí. Čtenář reportu pak vidí směr, rozdíl i zaznamenanou aktivitu v pozadí a nemusí všechny 3 informace odvozovat ze zvýrazněného řádku.

Ilustrační věta při předání může znít: „V [čase měření] popisuje [verze nebo shoda] aktuální pořadí v [definované metrice]; rozdíl je [hodnota] a vychází z [počtů kliknutí a odeslaných e-mailů].“ Hranaté závorky představují pole k doplnění ze skutečného reportu, nikoli výsledky kampaní z této studie. Samostatná věta by měla zaznamenat zvolený krok a jeho důvod.

Je-li dostupné pozdější měření, ponechte i dřívější pozorování a ukažte, zda náskok přetrval, obrátil se nebo přešel ve shodu. Zpětná kontrola tak může odlišit to, co bylo tehdy známo, od toho, co se zaznamenalo později. Zahrňte i dvojice, které začínaly shodou, pokud se report výslovně netýká jen dvojic, které už měly náskok.

Výběr verze stále závisí na cíli kampaně, omezeních doručování, kvalitě měření a nákladech obou možností. Archiv toto pravidlo neurčuje. Poskytuje užitečný důvod, proč nenechat jediné slovo „vítěz“ zastupovat pozorování i rozhodnutí zároveň.

Zachovejte vazbu mezi pozorováním a rozhodnutím

Tmavomodré a šalvějově zelené obálky jsou propojené se samostatnými kartami, na nichž je každá obálka vedle obrysu hodin bez ručiček. Šipka vede k otevřenému zápisníku s 2 kartami a tužkou vedle něj.
  1. Pojmenujte srovnání

    Určete testovanou proměnnou, zaznamenanou metriku a čas měření.

  2. Uchovejte důkazy pohromadě

    Uvádějte náskok či shodu spolu s rozdílem a počty, z nichž vycházejí.

  3. Rozhodnutí uveďte samostatně

    Pravidlo rozhodování o kampani oddělte od pozorovaného náskoku či shody.

Konceptuální ilustrace přenesení každé verze e-mailu a času jejího pozorování do reportu.

Počáteční hodnocení e-mailů je zavedená výzkumná otázka

Dřívější výzkum už chápe výkonnost e-mailů jako něco, co se vyvíjí v čase. Práce Bonfrera a Drèzeho „Real-Time Evaluation of E-mail Campaign Performance“, zveřejněná online v roce 2008 a v časopise Marketing Science v roce 2009, popisuje prediktivní metodu a rámec sekvenčního rozhodování vyhodnocené na 25 kampaních. Obecná myšlenka, že se počáteční a pozdější výsledky mohou lišit, není nová. [5]

Tato analýza odpovídá na užší popisnou otázku pomocí jiného archivu: jak často zaznamenaná pořadí u způsobilých dvojic přetrvala, obrátila se nebo přešla ve shodu a jaké rozdíly tyto průběhy doprovázely? Ponechává viditelné počáteční shody a kontroluje, zda se obraz mění při předem stanovených volbách načasování a vah.

Na tomto rozlišení při čtení výsledků záleží. Prediktivní model se snaží za svých předpokladů odhadnout, co nastane dál. Naše tabulky popisují, co zveřejněné záznamy obsahují v určených dobách od odeslání. Pozorovaná procenta mohou pomoci týmu vysvětlit report; nejsou modelem pro výběr verze příští kampaně.

Jak jsme zaznamenané dvojice porovnávali

SendGuard900K obsahuje 908 229 zveřejněných záznamů kampaní. Popis zdroje uvádí provozní metadata z let 2022–2024. Prověřili jsme 6 801 skupin určených kombinací ID klienta a ID testu a ponechali 5 743 skupin s přesně 2 způsobilými pozorovanými záznamy testovacích částí a kladnými vykázanými počty odeslaných e-mailů. Záznamy závěrečného rozeslání vybrané verze byly ze srovnání dvojic vyloučeny; jejich přítomnost nebyla podmínkou. [1] [6]

Ponechané dvojice zahrnují 473 ID klientů. Přesně 2 způsobilé pozorované záznamy nedokazují, že každý původní experiment měl nastaveny jen 2 varianty, že je jeho archiv úplný nebo že byla publika přiřazena náhodně. Proto popisujeme pozorované dvojice, nikoli ověřený soubor úplných randomizovaných experimentů.

Výpočet pro každou verzi používá její počet unikátních kliknutí ve 30., 60. nebo 1 440. minutě a stejný archivovaný jmenovatel vykázaných odeslaných e-mailů. Každý čas měření se vztahuje k odeslání dané verze. Dvojice v hlavní analýze nemusí mít stejný čas odeslání na hodinách. Kontrola stejného časového razítka je samostatné omezení, nikoli předpoklad pro všechny dvojice.

Všechny potřebné počty kliknutí ve způsobilých dvojicích byly dostupné, platné a nezáporné; žádný nepřekročil vykázaný počet odeslaných e-mailů. Žádný počet se mezi 3 časy měření nesnížil. Tyto kontroly podporují správnost výpočtů ze záznamů, ale nemohou určit význam unikátního kliknutí, filtrování botů, doručení ani to, zda pozdější pozorování zachycují všechny případné reakce. [6]

Náskoky a shody určujeme přesným porovnáním podkladových poměrů před zaokrouhlením. Rozdíly jsou absolutní rozdíly v zaznamenaných kliknutích na 100 odeslaných e-mailů. Mediány a další kvantily používají pravidlo nejbližšího pořadí: hodnoty seřadíme a vybereme uvedené pořadí bez interpolace. Grafy zaokrouhlují procenta na 1 desetinné místo a mediány rozdílů na 3; soubor s hodnotami grafů podle potřeby zachovává 6 desetinných míst.

Metoda před přečtením výsledků stanovila způsobilou strukturu, časy měření, 5 průběhů, souhrny počtů a rozdílů, kontroly načasování i výpočet se stejnou vahou klientů. Všechny předem stanovené agregované tabulky zůstávají ve výzkumném balíčku včetně nulových počtů a kontrol kvality. Nezávislá reprodukce ze zdroje se shodovala s úplnými agregovanými výstupy. Jde o popisné výsledky archivu bez intervalů spolehlivosti, testů významnosti či tvrzení o reprezentativním vzorku odvětví. [7]

CSV s hodnotami grafů obsahuje 31 číselných hodnot, 1 na datový řádek, ze 13 řádků zobrazených ve 3 grafech. ZIP uchovává všech 11 agregovaných tabulek, kontroly zdroje a kód pro reprodukci. Neobsahuje řádky jednotlivých kampaní ani identifikátory klientů a testů. Součástí jsou přeložené pokyny; reprodukce analýzy vyžaduje samostatně stažený zdrojový soubor. Číselné soubory ke stažení používají desetinnou tečku.

Zdroje a poznámky

  1. Zdroj: Bobek, Nalepa, Obara, Suszalski a Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, verze 1.0.0. Zdroj uvádí metadata kampaní z let 2022–2024 a autorská práva připisuje Freshmail, 2025. Tato analýza používá 5 743 způsobilých pozorovaných dvojic, nikoli všech 908 229 řádků kampaní. Z těchto dvojic má 5 647 označení sender_name a 96 topic.
  2. Mezi 4 712 dvojicemi s náskokem po první hodině jej 3 510 zachovalo, u 991 se pořadí obrátilo a u 211 později nastala shoda: 74,5 %, 21,0 % a 4,5 %. Mezi 1 031 počátečními shodami vznikl u 588 náskok a u 443 shoda přetrvala: 57,0 % a 43,0 %. Graf 5 průběhů naproti tomu dělí každý počet všemi 5 743 dvojicemi. Hodnoty se počítají před zaokrouhlením pro zobrazení.
  3. Metrikou je počet unikátních kliknutí vydělený pevným vykázaným počtem odeslaných e-mailů dané verze a vynásobený 100. Klasifikace náskoku a shody používá přesné poměry, nikoli zaokrouhlené zobrazení. Jednotkou absolutních rozdílů jsou zaznamenaná kliknutí na 100 odeslaných e-mailů. U dvojic s obráceným pořadím je pozdější medián 0,109543 a první a třetí kvartil činí 0,024817 a 0,336215. Všechny zobrazené nulové rozdíly v tabulce mediánů 5 průběhů jsou přesné nuly.
  4. Srovnání po 30 minutách má 4 507 dvojic s počátečním náskokem včetně 1 093 pozdějších obratů. Omezení na stejné zaznamenané časové razítko zahrnuje 686 dvojic včetně 560 s počátečním náskokem a 110 obratů. Hlavní výsledek se stejnou vahou klientů průměruje podíly obratů v rámci klienta napříč 403 ID klientů s alespoň 1 počátečním náskokem. Průměr činí 19,227847 %; nejde o procentní podíl počtu klientů ani o reprezentativní odhad pro firmy.
  5. Bonfrer a Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; zveřejněno online 7. října 2008, číslo časopisu 2009. Abstrakt vydavatele popisuje prediktivní přístup typu split-hazard, 25 kampaní a rámec sekvenčního rozhodování. Dokládá dřívější výzkum počátečního hodnocení e-mailů, nikoli ověření našich popisných procent z archivu.
  6. Předem stanovený výběr ze zdroje ponechává přesně 2 způsobilé pozorované záznamy testovacích částí na složenou skupinu klienta a testu a vylučuje řádky závěrečného rozeslání vybrané verze. Veřejná pole plně neurčují, zda se čas odeslání vztahuje k začátku či konci rozesílání, ani jeho délku, klíč jedinečnosti kliknutí, výhradně lidskou aktivitu, jmenovatele doručených e-mailů, úplné původní přiřazení v experimentu či dobu od událostí do extrakce. Platné, neklesající počty tato omezení neřeší. Totožná zaznamenaná časová razítka odeslání nedokazují současné doručení.
  7. SendGuard900K je zveřejněn pod licencí Creative Commons Attribution 4.0 International. Výzkumný balíček obsahuje analytický kód, předem stanovenou metodu a odvozené agregované tabulky; dále nešíří záznamy jednotlivých kampaní ani identifikátory klientů a testů. Reprodukce ze zdroje vyžaduje samostatné stažení původního souboru. Sdílený balíček obsahuje přeložené pokyny.

Zdrojem překladu je anglické vydání článku. Všechna jazyková vydání popisují stejný historický archiv SendGuard900K, jehož zdroj uvádí záznamy z let 2022–2024. Překlad z těchto výsledků nedělá benchmark místního trhu ani současného odvětví.

Jasně vymezte metriku a dobu pozorování