Testarea A/B a e-mailurilor: ce s-a schimbat după prima oră

Un raport de test al e-mailurilor arată o variantă în avans după o oră. Va mai fi în avans ulterior și cât de mare este diferența? În această arhivă istorică, majoritatea avansurilor s-au păstrat, dar inversările și egalitățile oferă un motiv să păstrezi momentul observării și numerele în raport.

Analiză Influence IQ a SendGuard900K, a cărui sursă declară înregistrări de campanie din 2022–2024. Studiul acoperă 5.743 de perechi observate din 473 de identificatori de client, predominant teste ale numelui expeditorului. Descrie măsuri de clicuri înregistrate, nu clicuri exclusiv umane, venituri sau un reper reprezentativ pentru e-mailuri.

Rezumat

Un raport timpuriu al unui test A/B de e-mail poate identifica varianta aflată în avans, fără a stabili cum va arăta comparația mai târziu. Dintre cele 4.712 perechi observate cu avans strict la 60 de minute în SendGuard900K, 74,5 % au păstrat acel avans la 1.440 de minute, în 21,0 % avansul s-a inversat, iar 4,5 % au ajuns la egalitate. Măsura este contorul de clicuri unice înregistrat, împărțit la numărul raportat de e-mailuri trimise și înmulțit cu 100. Fiecare variantă folosește propriul număr fix de mesaje trimise. Sursa declară înregistrări din 2022–2024; 5.647 dintre cele 5.743 de perechi eligibile au fost teste ale numelui expeditorului. [1]

Celelalte 1.031 de perechi erau la egalitate după prima oră; 57,0 % au avut ulterior un avans strict. Perechile în care avansul s-a inversat au avut o diferență mediană ulterioară de 0,110 clicuri înregistrate la 100 de mesaje trimise. Aceste constatări susțin raportarea împreună a timpului scurs de la trimitere, a avansului sau egalității, a diferenței și a contextului numerelor. Nu identifică adevărați câștigători, o perioadă optimă de așteptare sau efectul amânării trimiterii finale.

Să presupunem că pregătești următoarea trimitere a unui newsletter. Deschizi raportul A/B, vezi o variantă în avans și trebuie să-i spui unui coleg ce să facă mai departe. „Aceasta a câștigat” este un mesaj rapid. Dar omite 2 întrebări: cât de mare este avansul și când a fost înregistrată comparația?

Am comparat înregistrările din prima oră și de la 24 de ore pentru aceleași perechi de e-mailuri. Majoritatea avansurilor din prima oră s-au păstrat. Prezentarea completă include și avansuri inversate, avansuri devenite egalități și egalități care s-au separat ulterior. Aceste evoluții ajută la explicarea unui raport timpuriu înainte ca cineva să-l folosească pentru a alege următoarea trimitere.

Aceeași pereche de e-mailuri la 2 momente de observare

2 panouri transparente conțin fiecare un plic bleumarin cu sigiliu circular și un plic verde-salvie cu sigiliu în formă de romb, sub conturul unui ceas fără limbi. O panglică aurie unește panourile.
Ilustrație conceptuală a acelorași 2 variante de e-mail observate la 2 momente.

Majoritatea avansurilor din prima oră s-au păstrat, dar nu toate

La 60 de minute, 4.712 dintre cele 5.743 de perechi eligibile aveau un avans: o variantă avea o valoare mai mare a măsurii de clicuri înregistrate decât cealaltă. La 1.440 de minute, adică 24 de ore după trimiterea fiecărei variante, 3.510 favorizau încă aceeași variantă. Alte 991 o favorizau pe cealaltă, iar 211 erau la egalitate. Asta înseamnă 74,5 % cu avans păstrat, 21,0 % cu avans inversat și 4,5 % la egalitate dintre perechile care au început cu un avans. [2]

Acestea sunt comparații ale unei anumite măsuri înregistrate. Împărțim contorul de clicuri unice al fiecărei variante la numărul ei raportat de e-mailuri trimise și înmulțim cu 100. Unitatea rezultată este clicuri înregistrate la 100 de mesaje trimise. Un avans înseamnă o valoare mai mare a acelei măsuri, oricât de mică ar fi diferența. Nu înseamnă un rezultat semnificativ statistic.

Merită să ținem cont că majoritatea avansurilor s-au păstrat. Această arhivă nu arată că rapoartele din prima oră au fost în general răsturnate de rezultatele ulterioare. Arată că au existat atât păstrarea avansului, cât și inversarea și egalitatea ulterioară. Un raport care înregistrează doar ordinea inițială pierde distincția dintre acele evoluții ulterioare.

Un raport din prima oră poate descrie corect informațiile înregistrate atunci, chiar dacă ordinea ulterioară diferă. A vorbi despre un „câștigător declarat eronat” atunci când avansul se inversează ar merge mai departe: ar trata ordinea ulterioară ca adevăr și ar presupune că raportul inițial a afirmat mai mult decât un avans la acel moment. Aici păstrăm ambele observații. Comparația arată o schimbare a ordinii înregistrate, nu o rată de eroare a unui sistem de decizie.

Sursa este și mai restrânsă decât sugerează expresia generală „testarea A/B a e-mailurilor”. Dintre perechile eligibile, 5.647 aveau eticheta pentru numele expeditorului, iar 96 pentru tema mesajului. Testele numelui expeditorului reprezintă, așadar, 98,3 % din această analiză. Constatările nu trebuie prezentate ca reper pentru subiectul e-mailului sau ca estimare pentru fiecare platformă de e-mail.

Graficul de mai jos folosește toate cele 5.743 de perechi ca numitor, inclusiv cele 1.031 care au început la egalitate. Astfel este vizibilă fiecare evoluție observată. Cele 991 de inversări reprezintă 17,3 % din toate perechile, dar 21,0 % din cele 4.712 cu avans inițial. Ambele numere sunt corecte; răspund unor întrebări diferite.

5 evoluții cuprind toate cele 5.743 de perechi de e-mailuri observate

De la 60 la 1.440 de minute după trimiterea fiecărei variante în SendGuard900K, a cărui sursă datează arhiva în 2022–2024. Un avans înseamnă o valoare mai mare a raportului dintre contorul de clicuri unice și numărul de e-mailuri declarate ca trimise; egalitățile folosesc rapoarte exacte.

Consultă valorile figurii
Evoluție observatăPerechi observateProporția din toate cele 5.743 de perechi (%)
Avansul inițial s-a păstrat3.51061,1 %
Avansul inițial s-a inversat99117,3 %
Avansul inițial a devenit egalitate2113,7 %
Egalitatea inițială a devenit avans58810,2 %
Egalitatea inițială s-a păstrat4437,7 %
Fiecare procent de aici folosește toate cele 5.743 de perechi. Primele 3 rânduri cuprind împreună 4.712 perechi cu avans inițial strict; ultimele 2 cuprind 1.031 de egalități inițiale. Procentele condiționate de inversare și de trecere de la egalitate la avans din text folosesc aceste grupuri inițiale separate.

O egalitate timpurie este un punct de plecare diferit

Într-un raport la egalitate după prima oră nu există un avans care să se păstreze sau să se inverseze. În această arhivă, 588 dintre cele 1.031 de egalități timpurii au avut ulterior un avans, iar 443 au rămas la egalitate. Asta înseamnă 57,0 % din egalitățile timpurii. Nu trebuie adăugat procentului inversărilor, care pornește de la un alt grup.

Multe egalități timpurii conțineau și puțină activitate înregistrată. În 655 dintre cele 1.031 de perechi la egalitate, ambele contoare de clicuri unice din prima oră erau 0. Alte egalități puteau conține contoare pozitive cu rapoarte exact egale. Clasificăm egalitatea din contoarele și totalurile de mesaje trimise care stau la bază, nu din procentele rotunjite ale unui grafic. [3]

Pentru o echipă de raportare, acest lucru separă „nu există avans în măsura înregistrată” de „cele 2 variante au performanțe egale”. Prima este o observație pentru un timp precizat, scurs de la trimitere. A doua ar necesita dovezi pe care această comparație descriptivă nu le oferă. Separarea ulterioară a unor egalități nu stabilește ce variantă trebuia selectată mai devreme.

Numitorul poate fi verificat printr-un calcul scurt, folosind numerele efective din arhivă. Împarte 588 la 1.031 pentru a descrie ce s-a întâmplat cu egalitățile timpurii. Împarte 991 la 4.712 pentru a descrie inversările dintre avansurile timpurii. Împarte oricare dintre numere la 5.743 doar când întrebarea privește toate perechile eligibile. Titlul unui raport ar trebui să facă explicit acel grup de pornire.

Schimbarea liderului nu descrie mărimea diferenței

Cele 991 de perechi cu avans inversat aveau o diferență absolută mediană de 0,062 clicuri înregistrate la 100 de mesaje trimise în prima oră și de 0,110 la 24 de ore. Sunt diferențe între măsurile înregistrate ale celor 2 variante, nu persoane suplimentare, cumpărări atribuite sau modificări procentuale ale veniturilor. [3]

Numitorul mesajelor trimise contează la citirea acelei diferențe. O diferență între contoarele brute de clicuri nu este suficientă pentru a compara variante cu totaluri diferite de mesaje trimise. Fiecare contor trebuie împărțit mai întâi la propriul total raportat de mesaje trimise. Nici o diferență de 0,110 în această măsură nu trebuie descrisă ca o îmbunătățire relativă de 0,110 %: este o diferență absolută pe scara la 100 de mesaje trimise, fără o valoare de vânzări asociată.

Mărimea diferenței ulterioare a variat. Pentru perechile cu avans inversat, jumătatea centrală se afla între aproximativ 0,025 și 0,336 clicuri înregistrate la 100 de mesaje trimise. Mediana descrie, așadar, o poziție tipică în acest grup; nu înseamnă că fiecare inversare a fost mică. Ordinea se poate schimba la o diferență mică, iar unele diferențe înregistrate erau mult mai mari.

Celelalte evoluții oferă context util. Perechile care au păstrat un avans aveau o diferență mediană ulterioară de 0,291. Perechile care au trecut de la egalitate la avans aveau o diferență mediană ulterioară de 0,444. O egalitate ulterioară are prin definiție o diferență exactă de 0. Tabelul păstrează toate cele 5 evoluții împreună, fără a evidenția doar inversările.

Coloanele inițială și ulterioară sunt mediane separate în cadrul fiecărui rând. Nu urmăresc o singură pereche tipică, iar scăderea lor nu dă mediana schimbărilor înregistrate pentru perechi. Citește-le ca rezumate ale diferenței la fiecare moment de observare. Pentru a descrie direcția comparației, folosește eticheta evoluției alături de mărime.

Aceste grupuri sunt definite de ce s-a întâmplat la ambele momente de observare. Diferențele lor mediane nu pot fi folosite ca reguli prospective pentru a detecta o inversare într-o campanie nouă. În special, mediana inițială mai mică dintre perechile cu avans inversat nu este un prag validat pentru a decide când te poți baza în siguranță pe un raport.

Contextul numerelor trebuie să însoțească diferența. Dintre toate cele 4.712 perechi cu avans în prima oră, mediana contorului combinat de clicuri unice pentru cele 2 variante era 9. În 488 dintre acele perechi, contorul combinat era exact 1. Asta descrie dovezile inițiale pentru perechile cu avans timpuriu; nu arată că acele perechi au cauzat totalul inversărilor sau că numerele mici explică schimbările.

Diferența mediană variază între cele 5 evoluții observate

Diferențe absolute între măsurile de clicuri înregistrate ale celor 2 variante la 60 și 1.440 de minute în SendGuard900K, a cărui sursă datează arhiva în 2022–2024. Fiecare măsură este contorul de clicuri unice împărțit la numărul raportat de e-mailuri trimise și înmulțit cu 100.

Consultă valorile figurii
Evoluție observatăPerechi observateDiferența mediană la 60 de minute (clicuri înregistrate la 100 de mesaje trimise)Diferența mediană la 1.440 de minute (clicuri înregistrate la 100 de mesaje trimise)
Avansul inițial s-a păstrat3.5100,1750,291
Avansul inițial s-a inversat9910,0620,110
Avansul inițial a devenit egalitate2110,2950,000
Egalitatea inițială a devenit avans5880,0000,444
Egalitatea inițială s-a păstrat4430,0000,000
Diferențele sunt clicuri înregistrate la 100 de mesaje trimise, nu rate verificate de clicuri umane sau cumpărări suplimentare. Fiecare mediană folosește perechile din rândul ei. Un 0 afișat este exact; medianele pozitive sunt rotunjite la 3 zecimale. Evoluțiile folosesc ambele momente de observare, așa că aceste mediane nu sunt praguri prospective de decizie.

Momentele de observare, orele de trimitere și ponderarea pe clienți: ce s-a schimbat

Am stabilit comparațiile suplimentare înainte de a calcula rezultatele. Folosind ca punct de pornire momentul de la 30 de minute în loc de 60, am obținut 4.507 perechi cu avans inițial. Dintre ele, 24,3 % și-au inversat avansul până la 1.440 de minute. Rezultatul din prima oră era 21,0 % dintre 4.712 perechi cu avans. Numitorii lor diferiți contează: unele perechi erau la egalitate la un moment de observare, dar aveau avans la celălalt. [4]

Acest lucru nu demonstrează că așteptarea încă 30 de minute previne o anumită proporție de decizii greșite. Cele 2 calcule descriu ordini observate la intervale diferite după trimitere. Nu atribuie aleatoriu o politică de așteptare și nu evaluează consecințele unei decizii de trimitere finală.

Am restrâns și comparația din prima oră la cele 686 de perechi ale căror 2 variante aveau momente de trimitere înregistrate identice. Dintre cele 560 cu avans inițial, 19,6 % și-au inversat ulterior avansul. Această verificare reduce o diferență de moment din datele înregistrate. Potrivirea momentelor nu dovedește livrarea simultană sau o expunere echivalentă a publicului.

Unii identificatori de client contribuie cu mult mai multe perechi decât alții. Calculul principal acordă fiecărei perechi aceeași pondere. O verificare separată găsește mai întâi proporția inversărilor pentru fiecare dintre cei 403 identificatori de client cu cel puțin 1 avans în prima oră, apoi acordă fiecărui astfel de identificator aceeași pondere. Media este 19,2 %. Descrie media proporțiilor lor de inversare, nu procentul clienților care au avut o inversare. [4]

Luate împreună, verificările prestabilite mențin aceeași constatare practică: un avans timpuriu observat se poate menține, inversa sau transforma în egalitate. Nu produc o probabilitate universală de inversare. Arhiva are înregistrări repetate în cadrul identificatorilor de client, iar aceștia nu sunt un eșantion verificat de afaceri independente.

Proporții de inversare în 3 comparații prestabilite

În SendGuard900K, a cărui sursă datează arhiva în 2022–2024, fiecare procent se calculează împărțind numărul inversărilor ulterioare la numărul perechilor cu avans strict la momentul inițial de observare. Momentul ulterior este întotdeauna la 1.440 de minute după trimiterea fiecărei variante.

Consultă valorile figurii
ComparațiePerechi cu avans inițial strictInversări ulterioare dintre perechile cu avans inițial strict (%)
De la 60 la 1.440 de minute: toate perechile eligibile4.71221,0 %
De la 30 la 1.440 de minute: toate perechile eligibile4.50724,3 %
De la 60 la 1.440 de minute: momente de trimitere înregistrate identice56019,6 %
Comparațiile la 60 de minute și la 30 de minute pornesc de la aceleași 5.743 de perechi, dar au numitori diferiți pentru perechile cu avans strict. Restricția la momente identice începe cu 686 de perechi. Aceste comparații nu estimează un beneficiu cauzal al așteptării și nu dovedesc livrarea simultană.

Oferă-i persoanei care alege următoarea trimitere mai mult decât o etichetă de câștigător

Un raport util pornește de la decizia care trebuie luată. Destinatarul raportului alege următoarea trimitere, documentează un test încheiat sau examinează teste trecute pentru o întâlnire de planificare? O observație din prima oră poate fi relevantă pentru fiecare sarcină, dar un raport pregătit pentru una poate omite informațiile necesare alteia.

Precizează variabila testată și măsura înainte de a numi liderul. Aici înseamnă numele expeditorului sau tema mesajului, urmate de contorul de clicuri unice la 100 de mesaje raportate ca trimise. O echipă care folosește e-mailuri livrate, clicuri umane verificate sau cumpărări ar trebui să precizeze în schimb acea definiție. Păstrarea măsurii vizibile face și comparațiile ulterioare mai ușor de interpretat.

Apoi pune momentul observării lângă avans sau egalitate. Include diferența dintre cele 2 măsuri și contoarele și totalurile de mesaje trimise care stau la bază pentru ambele variante. Cititorul raportului poate vedea astfel o direcție, o diferență și activitatea înregistrată din spatele ei, fără să fie nevoit să le deducă pe toate 3 dintr-un rând evidențiat.

O propoziție ilustrativă de transmitere a raportului ar putea fi: „La [momentul observării], [varianta sau egalitatea] descrie ordinea curentă în [măsura definită]; diferența este [valoare], bazată pe [contoarele și totalurile de mesaje trimise].” Parantezele sunt câmpuri de completat dintr-un raport real, nu rezultate de campanie din acest studiu. O propoziție separată ar trebui să înregistreze acțiunea aleasă și motivul ei.

Dacă este disponibil un moment ulterior de observare, păstrează observația anterioară și arată dacă avansul s-a menținut, s-a inversat sau a devenit egalitate. Astfel, o examinare retrospectivă poate distinge ce se știa atunci de ce s-a înregistrat ulterior. Include și perechile care au început la egalitate, dacă raportul nu privește explicit doar perechile care aveau deja un avans.

Alegerea unei variante depinde în continuare de obiectivul campaniei, constrângerile de livrare, calitatea măsurării și costul fiecărei alegeri. Arhiva nu stabilește acea regulă. Oferă un motiv util să nu lași un singur cuvânt, „câștigător”, să țină locul observației și al deciziei împreună.

Păstrează observația alături de decizie

Plicuri bleumarin și verde-salvie se leagă de carduri separate, care asociază fiecare plic cu conturul unui ceas fără limbi. O săgeată conduce spre un caiet deschis în care se află cele 2 carduri, lângă un creion.
  1. Precizează comparația

    Identifică variabila testată, măsura înregistrată și momentul observării.

  2. Păstrează dovezile împreună

    Raportează avansul sau egalitatea alături de diferență și de contoarele pe care se bazează.

  3. Precizează decizia separat

    Păstrează regula de decizie a campaniei separată de avansul sau egalitatea observate.

Ilustrație conceptuală a păstrării fiecărei variante de e-mail și a momentului observației sale într-un raport.

Evaluarea timpurie a e-mailurilor este o întrebare de cercetare consacrată

Cercetări anterioare tratează deja performanța e-mailurilor ca pe ceva ce evoluează în timp. „Real-Time Evaluation of E-mail Campaign Performance” de Bonfrer și Drèze, publicat online în 2008 și în Marketing Science în 2009, descrie o metodă predictivă și un cadru de decizie secvențială, evaluate pe 25 de campanii. Ideea generală că rezultatele timpurii pot diferi de cele ulterioare nu este nouă. [5]

Această analiză răspunde unei întrebări descriptive mai restrânse, folosind o altă arhivă: cât de des s-a păstrat sau s-a inversat ordinea înregistrată în perechile eligibile ori s-a ajuns la egalitate și ce diferențe au însoțit acele evoluții? Păstrează vizibile egalitățile timpurii și verifică dacă prezentarea se schimbă în funcție de alegerile prestabilite privind momentele de observare și ponderarea.

Acea distincție contează la citirea constatărilor. Un model predictiv încearcă să estimeze ce se va întâmpla mai departe sub ipotezele sale. Tabelele noastre descriu ce conțin înregistrările publicate la intervale precizate după trimitere. Procentele observate pot ajuta o echipă să explice un raport; nu sunt un model pentru selectarea variantei campaniei următoare.

Cum au fost comparate perechile înregistrate

SendGuard900K conține 908.229 de înregistrări de campanie publicate. Descrierea sursei declară metadate de producție din 2022–2024. Am filtrat 6.801 grupuri identificate prin combinația dintre identificatorul de client și cel de test, apoi am păstrat 5.743 de grupuri cu exact 2 înregistrări eligibile observate ale variantelor de test și cu numere raportate pozitive de mesaje trimise. Înregistrările trimiterii finale au fost excluse din comparația perechilor; prezența lor nu era necesară. [1] [6]

Perechile păstrate acoperă 473 de identificatori de client. Exact 2 înregistrări observate eligibile nu stabilesc că fiecare experiment inițial avea doar 2 variante configurate, că arhiva sa este completă sau că publicurile au fost alocate aleatoriu. De aceea descriem perechi observate, nu o colecție verificată de experimente randomizate complete.

Pentru fiecare variantă, calculul folosește contorul ei de clicuri unice la 30, 60 sau 1.440 de minute și același numitor arhivat al mesajelor raportate ca trimise. Fiecare moment de observare este măsurat față de trimiterea acelei variante. Nu este necesar ca variantele unei perechi din analiza principală să aibă aceeași dată și oră de trimitere. Verificarea cu momente identice este o restricție separată, nu o ipoteză aplicată fiecărei perechi.

Toate contoarele necesare din perechile eligibile erau disponibile, valide și nenegative; niciunul nu depășea numărul raportat de mesaje trimise. Niciun contor nu a scăzut între cele 3 momente de observare. Aceste verificări susțin aritmetica înregistrată, dar nu pot stabili sensul unui clic unic, filtrarea boților, livrarea sau dacă observațiile ulterioare surprind toate răspunsurile care vor apărea în cele din urmă. [6]

Determinăm avansurile și egalitățile prin comparații exacte ale rapoartelor de bază, înainte de rotunjire. Diferențele sunt diferențe absolute în clicuri înregistrate la 100 de mesaje trimise. Medianele și celelalte cuantile folosesc regula rangului cel mai apropiat: ordonează valorile și selectează rangul specificat, fără interpolare. Figurile rotunjesc procentele la 1 zecimală și diferențele mediane la 3; fișierul descărcabil cu valorile figurilor păstrează 6 zecimale acolo unde se aplică.

Metoda a prestabilit structura eligibilă, momentele de observare, cele 5 evoluții, rezumatele numerelor și diferențelor, verificările temporale și calculul cu ponderi egale pe client înainte de citirea rezultatelor. Toate tabelele agregate prestabilite rămân în fișierele de cercetare descărcabile, inclusiv numerele zero și verificările de calitate. Reproducerea independentă din sursă a corespuns tuturor rezultatelor agregate. Sunt rezultate descriptive ale arhivei, fără intervale de încredere, teste de semnificație sau afirmații privind eșantionarea reprezentativă a industriei. [7]

Fișierul CSV al figurilor conține 31 de valori numerice, câte 1 pe rând de date, din cele 13 rânduri afișate în 3 figuri. Arhiva ZIP păstrează toate cele 11 tabele agregate, verificările sursei și codul de reproducere. Nu conține rânduri la nivel de campanie sau identificatori de client ori de test. Sunt incluse instrucțiuni traduse; reproducerea analizei necesită fișierul sursă descărcat separat. Fișierele numerice descărcabile folosesc punctul ca separator zecimal.

Surse și note

  1. Sursă: Bobek, Nalepa, Obara, Suszalski și Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, versiunea 1.0.0. Sursa declară metadate de campanie din 2022–2024 și atribuie drepturile de autor Freshmail, 2025. Această analiză folosește 5.743 de perechi observate eligibile, nu toate cele 908.229 de rânduri de campanie. Dintre acele perechi, 5.647 au eticheta sender_name și 96 au eticheta topic.
  2. Dintre cele 4.712 perechi cu avans strict în prima oră, 3.510 l-au păstrat, în 991 s-a inversat, iar 211 au ajuns ulterior la egalitate: 74,5 %, 21,0 % și 4,5 %. Dintre cele 1.031 de egalități timpurii, 588 au devenit un avans strict, iar 443 au rămas la egalitate: 57,0 % și 43,0 %. În schimb, figura cu 5 evoluții împarte fiecare număr la toate cele 5.743 de perechi. Valorile sunt calculate înainte de rotunjirea pentru afișare.
  3. Măsura este contorul de clicuri unice împărțit la numărul fix raportat de mesaje trimise al variantei și înmulțit cu 100. Clasificările de avans și egalitate folosesc rapoarte exacte, nu valorile rotunjite pentru afișare. Diferențele absolute au unitatea de clicuri înregistrate la 100 de mesaje trimise. Pentru perechile cu avans inversat, mediana ulterioară este 0,109543, cu prima și a treia cuartilă la 0,024817 și 0,336215. Toate diferențele zero afișate în tabelul medianelor pentru cele 5 evoluții sunt zerouri exacte.
  4. Comparația la 30 de minute are 4.507 perechi cu avans inițial strict, inclusiv 1.093 de inversări ulterioare. Restricția la același moment de trimitere înregistrat are 686 de perechi, inclusiv 560 cu avans inițial strict și 110 inversări. Rezultatul principal cu ponderi egale pe client mediază proporțiile de inversare din cadrul clienților pentru 403 identificatori de client cu cel puțin 1 avans inițial strict. Media este 19,227847 %; nu reprezintă procentul clienților care au avut o inversare și nici o estimare reprezentativă pentru afaceri.
  5. Bonfrer și Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; publicat online la 7 octombrie 2008, în numărul din 2009. Rezumatul editorului descrie o abordare predictivă de tip split-hazard, 25 de campanii și un cadru de decizie secvențială. Susține istoricul cercetării evaluării timpurii a e-mailurilor, nu validarea procentelor descriptive din arhiva noastră.
  6. Filtrarea prestabilită a sursei păstrează exact 2 înregistrări eligibile observate ale variantelor de test pentru fiecare grup compus client/test, excluzând rândurile trimiterii finale. Câmpurile publice nu stabilesc pe deplin dacă momentul înregistrat al trimiterii corespunde începutului sau sfârșitului acesteia, durata trimiterii, cheia de unicitate a clicurilor, activitatea exclusiv umană, numitorii calculați din e-mailurile livrate, alocarea completă din experimentul inițial sau maturitatea datelor la extragere. Contoarele valide, care nu scad, nu rezolvă aceste limite. Momentele de trimitere înregistrate identic nu dovedesc livrarea simultană.
  7. SendGuard900K este publicat sub Creative Commons Attribution 4.0 International. Pachetul de cercetare conține codul analizei, metoda prestabilită și tabele agregate derivate; nu redistribuie înregistrări la nivel de campanie sau identificatori de client ori de test. Reproducerea din sursă necesită descărcarea separată a fișierului original. Pachetul comun include instrucțiuni traduse.

Articolul în engleză este ediția sursă. Toate edițiile în alte limbi descriu aceeași arhivă istorică SendGuard900K, a cărei sursă declară înregistrări din 2022–2024. Traducerea nu transformă aceste rezultate într-un reper pentru piața locală sau pentru industria actuală.

Păstrează clare măsura și fereastra de observare