Testy A/B wiadomości e-mail: co zmieniło się po pierwszej godzinie

Raport z testu wiadomości e-mail pokazuje przewagę 1 wersji po godzinie. Czy utrzyma się ona później i jak duża jest różnica? W tym historycznym archiwum większość przewag się utrzymała, ale odwrócenia kolejności i remisy uzasadniają zachowanie w raporcie punktu pomiaru oraz wartości liczbowych.

Analiza Influence IQ zbioru SendGuard900K, którego źródło deklaruje rekordy kampanii z lat 2022–2024. Badanie obejmuje 5 743 zaobserwowane pary z 473 identyfikatorów klientów, głównie testy nazwy nadawcy. Opisuje zarejestrowane miary kliknięć, a nie zweryfikowane kliknięcia pochodzące wyłącznie od ludzi, przychody czy reprezentatywny punkt odniesienia dla e-maili.

Streszczenie

Wczesny raport A/B wiadomości e-mail może wskazać, która wersja prowadzi, ale nie ustala, jak porównanie będzie wyglądać później. Wśród 4 712 zaobserwowanych par z przewagą bez remisu po 60 minutach w SendGuard900K 74,5% zachowało tę przewagę po 1 440 minutach, w 21,0% kolejność się odwróciła, a w 4,5% powstał remis. Miara to zarejestrowany licznik unikalnych kliknięć podzielony przez raportowaną liczbę wysłanych wiadomości i pomnożony przez 100. Każda wersja wykorzystuje własną stałą liczbę wysłanych wiadomości. Źródło deklaruje rekordy z lat 2022–2024; 5 647 z 5 743 par spełniających kryteria stanowiły testy nazwy nadawcy. [1]

Pozostałe 1 031 par miało remis po pierwszej godzinie; w 57,0% później pojawiła się przewaga bez remisu. W parach z odwróceniem kolejności mediana późniejszej różnicy wyniosła 0,110 zarejestrowanego kliknięcia na 100 wysłanych wiadomości. Wyniki przemawiają za wspólnym raportowaniem czasu od wysłania, przewagi lub remisu, różnicy i kontekstu liczebności. Nie wskazują rzeczywistych zwycięzców, optymalnego czasu oczekiwania ani skutku opóźnienia wysyłki końcowej.

Załóżmy, że przygotowujesz następną wysyłkę newslettera. Otwierasz raport A/B, widzisz przewagę 1 wersji i musisz przekazać współpracownikowi, co zrobić dalej. „Ta wersja wygrała” to szybki komunikat. Pomija jednak 2 pytania: jak duża jest przewaga i kiedy zapisano to porównanie?

Porównaliśmy zapisy po pierwszej godzinie i po 24 godzinach dla tych samych par wiadomości e-mail. Większość przewag po pierwszej godzinie się utrzymała. Pełny obraz obejmuje też przewagi, które się odwróciły lub zmieniły w remis, oraz remisy, które później ustąpiły przewadze. Te przebiegi pomagają zrozumieć, co mówi wczesny raport, zanim ktoś wykorzysta go do wyboru następnej wysyłki.

Ta sama para e-maili w 2 punktach pomiaru

Na każdym z 2 przezroczystych paneli znajduje się granatowa koperta z okrągłą pieczęcią i szałwiowa koperta z pieczęcią w kształcie rombu, pod zarysem zegara bez wskazówek. Panele łączy złota wstążka.
Ilustracja koncepcyjna tych samych 2 wersji e-maila obserwowanych w 2 punktach pomiaru.

Większość przewag po pierwszej godzinie się utrzymała, ale nie wszystkie

Po 60 minutach 4 712 z 5 743 par spełniających kryteria miało przewagę: 1 wersja osiągała wyższą zarejestrowaną miarę kliknięć niż druga. Po 1 440 minutach, czyli 24 godzinach od wysłania każdej wersji, 3 510 par nadal wskazywało tę samą wersję. W kolejnych 991 prowadziła druga wersja, a w 211 był remis. Wśród par, które początkowo miały przewagę, oznacza to 74,5% utrzymanych przewag, 21,0% odwróceń kolejności i 4,5% remisów. [2]

To porównania konkretnej zarejestrowanej miary. Dzielimy licznik unikalnych kliknięć każdej wersji przez raportowaną liczbę wysłanych dla niej wiadomości i mnożymy przez 100. Otrzymana jednostka to zarejestrowane kliknięcia na 100 wysłanych wiadomości. Przewaga oznacza wyższą wartość tej miary, niezależnie od wielkości różnicy. Nie oznacza wyniku istotnego statystycznie.

Warto zachować tę większość w polu widzenia. Archiwum nie pokazuje, że wyniki raportów z pierwszej godziny były powszechnie odwracane. Pokazuje, że występowały zarówno utrzymanie przewagi, odwrócenie kolejności, jak i późniejszy remis. Raport zapisujący tylko wczesną kolejność traci rozróżnienie tych późniejszych przebiegów.

Raport po pierwszej godzinie może trafnie opisywać zapisane wówczas informacje, nawet jeśli późniejsza kolejność jest inna. Uznanie, że odwrócenie kolejności ujawnia „fałszywego zwycięzcę”, szłoby dalej: oznaczałoby potraktowanie późniejszej kolejności jako prawdy i założenie, że wczesny raport stwierdzał coś więcej niż bieżącą przewagę. Tutaj zachowujemy obie obserwacje. Porównanie pokazuje zmianę zapisanej kolejności, a nie odsetek błędów systemu decyzyjnego.

Źródło ma też węższy zakres, niż sugeruje ogólne określenie „testy A/B wiadomości e-mail”. Wśród par spełniających kryteria 5 647 miało etykietę nazwy nadawcy, a 96 — tematu. Testy nazwy nadawcy stanowią więc 98,3% tej analizy. Wyników nie należy przedstawiać jako punktu odniesienia dla tematów wiadomości ani oszacowania dla każdej platformy e-mailowej.

Poniższy wykres wykorzystuje jako mianownik wszystkie 5 743 pary, w tym 1 031 z początkowym remisem. Dzięki temu pokazuje każdy zaobserwowany przebieg. 991 odwróceń kolejności stanowi 17,3% wszystkich par, ale 21,0% spośród 4 712 par z wczesną przewagą. Obie wartości są poprawne; odpowiadają na różne pytania.

5 przebiegów obejmuje wszystkie 5 743 zaobserwowane pary e-maili

Od 60 do 1 440 minut po wysłaniu każdej wersji w SendGuard900K, którego źródło datuje archiwum na lata 2022–2024. Przewaga to wyższa wartość licznika unikalnych kliknięć na raportowaną wysłaną wiadomość; remisy opierają się na dokładnych ilorazach.

Odczytaj wartości z rysunku
Zaobserwowany przebiegZaobserwowane paryUdział we wszystkich 5 743 parach (%)
Wczesna przewaga utrzymana351061,1%
Wczesna przewaga odwrócona99117,3%
Wczesna przewaga zmieniła się w remis2113,7%
Wczesny remis zmienił się w przewagę58810,2%
Wczesny remis pozostał remisem4437,7%
Każdy odsetek tutaj wykorzystuje wszystkie 5 743 pary. Pierwsze 3 wiersze zawierają łącznie 4 712 par z wczesną przewagą bez remisu; ostatnie 2 zawierają 1 031 wczesnych remisów. Warunkowe odsetki odwróceń i rozstrzygnięć remisów w tekście wykorzystują te oddzielne grupy początkowe.

Wczesny remis to inny punkt wyjścia

Raport z remisem po pierwszej godzinie nie ma prowadzącej wersji, która mogłaby zachować przewagę lub ją stracić. W tym archiwum w 588 z 1 031 wczesnych remisów później pojawiła się przewaga, a 443 pozostały remisami. To 57,0% wczesnych remisów. Nie należy dodawać tego wyniku do odsetka odwróceń kolejności, który dotyczy innej grupy początkowej.

Wiele wczesnych remisów zawierało też niewiele zarejestrowanej aktywności. W 655 z 1 031 par z remisem oba liczniki unikalnych kliknięć po pierwszej godzinie wynosiły 0. Inne remisy mogły mieć dodatnie liczniki, lecz dokładnie równe ilorazy. Równość klasyfikujemy na podstawie źródłowych liczebności i sum wysłanych wiadomości, a nie zaokrąglonych odsetków na wykresie. [3]

Dla zespołu raportującego oddziela to stwierdzenie „w zarejestrowanej mierze nie ma przewagi” od „2 wersje działają tak samo dobrze”. Pierwsze jest obserwacją w określonym czasie od wysłania. Drugie wymagałoby dowodów, których to porównanie opisowe nie dostarcza. Późniejsze rozstrzygnięcie niektórych remisów nie wskazuje, którą wersję należało wybrać wcześniej.

Mianownik można sprawdzić krótkim obliczeniem z rzeczywistych liczebności archiwum. Podziel 588 przez 1 031, aby opisać, co stało się z wczesnymi remisami. Podziel 991 przez 4 712, aby opisać odwrócenia kolejności wśród wczesnych przewag. Dziel którąkolwiek z tych liczebności przez 5 743 tylko wtedy, gdy pytanie dotyczy wszystkich par spełniających kryteria. Nagłówek raportu powinien jasno wskazywać tę grupę początkową.

Zmiana prowadzącej wersji nie opisuje wielkości różnicy

W 991 parach z odwróceniem kolejności mediana bezwzględnej różnicy wyniosła 0,062 zarejestrowanego kliknięcia na 100 wysłanych wiadomości po pierwszej godzinie i 0,110 po 24 godzinach. To różnice między zarejestrowanymi miarami 2 wersji, a nie dodatkowe osoby, przypisane zakupy czy procentowe zmiany przychodów. [3]

Przy odczytywaniu tej różnicy znaczenie ma mianownik wysłanych wiadomości. Różnica surowych liczników kliknięć nie wystarcza do porównania wersji z różnymi sumami wysłanych wiadomości. Najpierw każdy licznik trzeba podzielić przez właściwą mu raportowaną sumę wysłanych wiadomości. Różnicy 0,110 w tej mierze nie należy też opisywać jako względnej poprawy o 0,110%: to różnica bezwzględna w skali na 100 wysłanych wiadomości, bez przypisanej wartości sprzedaży.

Wielkość późniejszej różnicy była zróżnicowana. Dla par z odwróceniem kolejności środkowa połowa mieściła się w przybliżeniu między 0,025 a 0,336 zarejestrowanego kliknięcia na 100 wysłanych wiadomości. Mediana opisuje więc typowe położenie w tej grupie; nie oznacza, że każde odwrócenie było niewielkie. Kolejność może zmienić się przy małej różnicy, a niektóre zarejestrowane różnice były znacznie większe.

Pozostałe przebiegi dają przydatny kontekst. W parach, które zachowały przewagę, mediana późniejszej różnicy wyniosła 0,291. W parach, które przeszły z remisu do przewagi, wyniosła 0,444. Późniejszy remis z definicji ma różnicę równą dokładnie 0. Tabela zachowuje wszystkie 5 przebiegów razem, zamiast wyróżniać tylko odwrócenia kolejności.

Kolumny wczesna i późniejsza zawierają oddzielne mediany w każdym wierszu. Nie opisują przebiegu 1 typowej pary, a ich odjęcie nie daje mediany zmiany między parami. Odczytuj je jako podsumowania różnicy w każdym punkcie pomiaru. Aby opisać kierunek porównania, zestaw wielkość z etykietą przebiegu.

Te grupy zdefiniowano na podstawie tego, co wydarzyło się w obu punktach pomiaru. Median ich różnic nie można używać jako reguł przewidujących odwrócenie kolejności w nowej kampanii. W szczególności mniejsza wczesna mediana wśród par z odwróceniem nie jest zweryfikowanym progiem pozwalającym uznać raport za bezpieczną podstawę działania.

Obok różnicy powinien znaleźć się kontekst liczebności. Wśród wszystkich 4 712 par z przewagą po pierwszej godzinie mediana łącznego licznika unikalnych kliknięć 2 wersji wyniosła 9. W 488 z tych par łączny licznik wynosił dokładnie 1. Opisuje to początkowe dane dla wczesnych przewag; nie pokazuje, że właśnie te pary odpowiadały za łączną liczbę odwróceń ani że małe liczebności wyjaśniają zmiany.

Mediana różnicy nie jest taka sama we wszystkich 5 zaobserwowanych przebiegach

Bezwzględne różnice między zarejestrowanymi miarami kliknięć 2 wersji po 60 i 1 440 minutach w SendGuard900K, którego źródło datuje archiwum na lata 2022–2024. Każda miara to licznik unikalnych kliknięć podzielony przez raportowaną liczbę wysłanych wiadomości i pomnożony przez 100.

Odczytaj wartości z rysunku
Zaobserwowany przebiegZaobserwowane paryMediana różnicy po 60 minutach (zarejestrowane kliknięcia na 100 wysłanych wiadomości)Mediana różnicy po 1 440 minutach (zarejestrowane kliknięcia na 100 wysłanych wiadomości)
Wczesna przewaga utrzymana35100,1750,291
Wczesna przewaga odwrócona9910,0620,110
Wczesna przewaga zmieniła się w remis2110,2950,000
Wczesny remis zmienił się w przewagę5880,0000,444
Wczesny remis pozostał remisem4430,0000,000
Różnice wyrażono w zarejestrowanych kliknięciach na 100 wysłanych wiadomości, a nie we współczynnikach zweryfikowanych kliknięć ludzi ani w dodatkowych zakupach. Każda mediana wykorzystuje pary ze swojego wiersza. Wyświetlone 0 jest dokładne; dodatnie mediany zaokrąglono do 3 miejsc po przecinku. Przebiegi uwzględniają oba punkty pomiaru, więc te mediany nie są progami dla przyszłych decyzji.

Co zmieniło się po sprawdzeniu czasu i udziału klientów

Przed obliczeniem wyników ustaliliśmy dodatkowe porównania. Rozpoczęcie po 30 zamiast po 60 minutach dało 4 507 par z wczesną przewagą. Spośród nich w 24,3% kolejność odwróciła się do 1 440 minut. Wynik dla pierwszej godziny wyniósł 21,0% wśród 4 712 par z przewagą. Różne mianowniki mają znaczenie: niektóre pary miały remis w 1 punkcie pomiaru, a przewagę w drugim. [4]

Nie dowodzi to, że dodatkowe 30 minut oczekiwania zapobiega określonemu odsetkowi błędnych decyzji. 2 obliczenia opisują zaobserwowane kolejności przy różnym czasie od wysłania. Nie przydzielają losowo zasad oczekiwania ani nie oceniają konsekwencji decyzji o wysyłce końcowej.

Ograniczyliśmy też porównanie po pierwszej godzinie do 686 par, których 2 wersje miały identyczne zapisane znaczniki czasu wysłania. Spośród 560 par z wczesną przewagą w 19,6% kolejność później się odwróciła. To sprawdzenie ogranicza 1 różnicę czasową w zapisanych danych. Zgodne znaczniki czasu nie dowodzą jednoczesnego dostarczenia ani równoważnej ekspozycji odbiorców.

Niektóre identyfikatory klientów wnoszą znacznie więcej par niż inne. Główne obliczenie nadaje każdej parze taką samą wagę. Osobne sprawdzenie najpierw wyznacza odsetek odwróceń w obrębie każdego z 403 identyfikatorów klientów z co najmniej 1 przewagą po pierwszej godzinie, a następnie nadaje każdemu takiemu identyfikatorowi równą wagę. Średnia wynosi 19,2%. Opisuje średnią z ich odsetków odwróceń, a nie odsetek klientów, u których wystąpiło odwrócenie. [4]

Łącznie ustalone wcześniej sprawdzenia zachowują praktyczny problem: zaobserwowana wczesna przewaga może się utrzymać, odwrócić lub zmienić w remis. Nie dają uniwersalnego prawdopodobieństwa odwrócenia kolejności. Archiwum zawiera powtarzające się rekordy w obrębie identyfikatorów klientów, a identyfikatory te nie są zweryfikowaną próbą niezależnych firm.

Odsetki odwróceń przy 3 ustalonych porównaniach

W SendGuard900K, którego źródło datuje archiwum na lata 2022–2024, każdy odsetek obliczono, dzieląc liczbę późniejszych odwróceń przez liczbę par z przewagą bez remisu we wczesnym punkcie pomiaru. Późniejszy punkt pomiaru to zawsze 1 440 minut po wysłaniu każdej wersji.

Odczytaj wartości z rysunku
PorównaniePary z wczesną przewagą bez remisuPóźniejsze odwrócenia wśród par z wczesną przewagą bez remisu (%)
Od 60 do 1 440 minut: wszystkie pary spełniające kryteria471221,0%
Od 30 do 1 440 minut: wszystkie pary spełniające kryteria450724,3%
Od 60 do 1 440 minut: identyczne zapisane znaczniki czasu wysłania56019,6%
Porównania po 60 i 30 minutach zaczynają się od tych samych 5 743 par, ale mają różne mianowniki par z przewagą bez remisu. Ograniczenie do identycznych znaczników czasu zaczyna się od 686 par. Te porównania nie szacują przyczynowej korzyści z oczekiwania ani nie dowodzą jednoczesnego dostarczenia.

Osobie wybierającej następną wysyłkę przekaż więcej niż etykietę zwycięzcy

Przydatny raport zaczyna się od podejmowanej decyzji. Czy odbiorca wybiera następną wysyłkę, dokumentuje zakończony test, czy przegląda dawne testy przed spotkaniem planistycznym? Obserwacja po pierwszej godzinie może być istotna w każdym z tych zadań, ale raport przygotowany do 1 z nich może pomijać informacje potrzebne w innym.

Nazwij testowaną zmienną i miarę, zanim wskażesz prowadzącą wersję. Tutaj oznacza to nazwę nadawcy lub temat, a następnie licznik unikalnych kliknięć w przeliczeniu na 100 wiadomości wykazanych jako wysłane. Zespół korzystający z liczby dostarczonych e-maili, zweryfikowanych kliknięć ludzi lub zakupów powinien podać właśnie taką definicję. Widoczna miara ułatwia też interpretację późniejszych porównań.

Następnie umieść punkt pomiaru obok przewagi lub remisu. Dodaj różnicę między 2 miarami oraz źródłowe liczniki i sumy wysłanych wiadomości obu wersji. Czytelnik raportu zobaczy wtedy kierunek, różnicę i stojącą za nimi zarejestrowaną aktywność, zamiast wnioskować o wszystkich 3 elementach z wyróżnionego wiersza.

Przykładowe zdanie przekazujące wynik mogłoby brzmieć: „W [punkcie pomiaru] bieżącą kolejność w [określonej mierze] opisuje [prowadząca wersja lub remis]; różnica wynosi [wartość], a stoją za nią [liczniki i sumy wysłanych wiadomości]”. Nawiasy oznaczają pola do uzupełnienia na podstawie rzeczywistego raportu, a nie wyniki kampanii z tego badania. Osobne zdanie powinno zapisywać wybrane działanie i jego uzasadnienie.

Jeśli dostępny jest późniejszy punkt pomiaru, zachowaj wcześniejszą obserwację i pokaż, czy przewaga się utrzymała, odwróciła lub zmieniła w remis. Pozwala to podczas późniejszego przeglądu oddzielić informacje znane w danym momencie od zapisanych później. Uwzględnij także pary z początkowym remisem, chyba że raport wyraźnie dotyczy wyłącznie par, które już miały przewagę.

Wybór wersji nadal zależy od celu kampanii, ograniczeń dostarczenia, jakości pomiaru i kosztu każdego z wyborów. Archiwum nie ustala tej reguły. Daje przydatny powód, by 1 słowo — „zwycięzca” — nie zastępowało jednocześnie obserwacji i decyzji.

Zachowaj obserwację przy decyzji

Granatowe i szałwiowe koperty łączą się z osobnymi kartami, które zestawiają każdą kopertę z zarysem zegara bez wskazówek. Strzałka prowadzi do otwartego notatnika z 2 kartami obok ołówka.
  1. Określ porównanie

    Wskaż testowaną zmienną, zarejestrowaną miarę i punkt pomiaru.

  2. Zachowaj dowody razem

    Raportuj przewagę lub remis razem z różnicą i stojącymi za nią licznikami.

  3. Decyzję opisz oddzielnie

    Oddziel regułę decyzyjną kampanii od zaobserwowanej przewagi lub remisu.

Ilustracja koncepcyjna przenoszenia każdej wersji e-maila i czasu jej obserwacji do raportu.

Wczesna ocena e-maili jest znanym zagadnieniem badawczym

Wcześniejsze badania już traktują skuteczność e-maili jako zjawisko rozwijające się w czasie. Artykuł Bonfrera i Drèze’a „Real-Time Evaluation of E-mail Campaign Performance”, opublikowany online w 2008 r. i w czasopiśmie Marketing Science w 2009 r., opisuje metodę prognostyczną i ramy sekwencyjnego podejmowania decyzji, ocenione na 25 kampaniach. Ogólna koncepcja, że wyniki wczesne i późniejsze mogą się różnić, nie jest nowa. [5]

Ta analiza odpowiada na węższe pytanie opisowe, wykorzystując inne archiwum: jak często zapisana kolejność utrzymywała się, odwracała lub zmieniała w remis w parach spełniających kryteria i jakie różnice towarzyszyły tym przebiegom? Zachowuje widoczne wczesne remisy i sprawdza, czy obraz wyników zmienia się przy ustalonych wyborach czasu pomiaru i wag.

To rozróżnienie ma znaczenie przy odczytywaniu wyników. Model prognostyczny próbuje oszacować, co stanie się dalej przy jego założeniach. Nasze tabele opisują, co udostępnione rekordy zawierają przy określonym czasie od wysłania. Zaobserwowane odsetki mogą pomóc zespołowi wyjaśnić raport; nie są modelem do wyboru wersji następnej kampanii.

Jak porównano zapisane pary

SendGuard900K zawiera 908 229 udostępnionych rekordów kampanii. Opis źródła deklaruje metadane ze środowiska produkcyjnego z lat 2022–2024. Sprawdziliśmy 6 801 grup zdefiniowanych przez połączenie identyfikatora klienta i identyfikatora testu, a następnie zachowaliśmy 5 743 grupy z dokładnie 2 zaobserwowanymi rekordami części testowej spełniającymi kryteria i dodatnimi raportowanymi liczbami wysłanych wiadomości. Rekordy wysyłki końcowej wykluczono z porównania par; ich obecność nie była wymagana. [1] [6]

Zachowane pary obejmują 473 identyfikatory klientów. Dokładnie 2 zaobserwowane rekordy spełniające kryteria nie dowodzą, że każdy pierwotny eksperyment miał skonfigurowane tylko 2 warianty, że jego archiwum jest kompletne ani że odbiorców przydzielano losowo. Dlatego opisujemy zaobserwowane pary, a nie zweryfikowany zbiór kompletnych eksperymentów z losowym przydziałem.

Dla każdej wersji obliczenie wykorzystuje jej licznik unikalnych kliknięć po 30, 60 lub 1 440 minutach oraz ten sam zarchiwizowany mianownik raportowanych wysłanych wiadomości. Każdy punkt pomiaru liczy się względem wysłania danej wersji. Para w analizie głównej nie musi mieć wspólnej godziny wysłania według zegara. Sprawdzenie identycznych znaczników czasu to osobne ograniczenie, a nie założenie stosowane do każdej pary.

Wszystkie wymagane liczniki w parach spełniających kryteria były dostępne, poprawne i nieujemne; żaden nie przekraczał raportowanej liczby wysłanych wiadomości. Żaden licznik nie zmniejszał się między 3 punktami pomiaru. Te sprawdzenia potwierdzają poprawność zapisanej arytmetyki, ale nie ustalają znaczenia unikalnego kliknięcia, filtrowania botów, dostarczenia ani tego, czy późniejsze obserwacje obejmują każdą ostateczną reakcję. [6]

Przewagi i remisy ustalamy przez dokładne porównanie źródłowych ilorazów przed zaokrągleniem. Różnice są bezwzględnymi różnicami zarejestrowanych kliknięć na 100 wysłanych wiadomości. Mediany i inne kwantyle wyznaczamy według reguły najbliższej rangi: porządkujemy wartości i wybieramy wskazaną rangę, bez interpolacji. Na rysunkach odsetki zaokrąglono do 1 miejsca po przecinku, a mediany różnic do 3; plik z wartościami rysunków zachowuje 6 miejsc po przecinku tam, gdzie ma to zastosowanie.

Metoda ustalała strukturę spełniającą kryteria, punkty pomiaru, 5 przebiegów, podsumowania liczebności i różnic, sprawdzenia czasu oraz obliczenie z jednakową wagą klientów, zanim odczytano wyniki. Wszystkie ustalone wcześniej tabele zbiorcze pozostają w pakiecie badawczym do pobrania, w tym zerowe liczebności i sprawdzenia jakości. Niezależne odtworzenie ze źródła dało zgodne pełne wyniki zbiorcze. To opisowe wyniki archiwum, bez przedziałów ufności, testów istotności ani twierdzenia o reprezentatywnym doborze próby branżowej. [7]

CSV z danymi wykresów zawiera 31 wartości liczbowych, po 1 wartości na wiersz danych, z 13 wierszy pokazanych na 3 wykresach. ZIP zachowuje wszystkie 11 tabel zagregowanych, sprawdzenia źródeł i kod do odtworzenia analizy. Nie zawiera wierszy kampanii ani identyfikatorów klientów lub testów. Dołączono przetłumaczone instrukcje; odtworzenie analizy wymaga osobnego pobrania pliku źródłowego. W plikach liczbowych separatorem dziesiętnym jest kropka.

Źródła i uwagi

  1. Źródło: Bobek, Nalepa, Obara, Suszalski i Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, wersja 1.0.0. Źródło deklaruje metadane kampanii z lat 2022–2024 i przypisuje prawa autorskie Freshmail, 2025. Analiza wykorzystuje 5 743 zaobserwowane pary spełniające kryteria, a nie wszystkie 908 229 wierszy kampanii. Spośród tych par 5 647 ma etykietę sender_name, a 96 — topic.
  2. Spośród 4 712 par z przewagą bez remisu po pierwszej godzinie 3 510 zachowało przewagę, w 991 kolejność się odwróciła, a w 211 później pojawił się remis: 74,5%, 21,0% i 4,5%. Spośród 1 031 wczesnych remisów w 588 pojawiła się przewaga bez remisu, a 443 pozostały remisami: 57,0% i 43,0%. Rysunek z 5 przebiegami dzieli natomiast każdą liczebność przez wszystkie 5 743 pary. Wartości oblicza się przed zaokrągleniem do prezentacji.
  3. Miara to licznik unikalnych kliknięć podzielony przez stałą raportowaną liczbę wysłanych wiadomości danej wersji i pomnożony przez 100. Klasyfikacja przewagi i remisu wykorzystuje dokładne ilorazy, a nie zaokrągloną prezentację. Różnice bezwzględne mają jednostkę zarejestrowanych kliknięć na 100 wysłanych wiadomości. Dla par z odwróceniem kolejności późniejsza mediana wynosi 0,109543, a pierwszy i trzeci kwartyl — 0,024817 i 0,336215. Wszystkie zera prezentowane w tabeli median 5 przebiegów są dokładnymi zerami.
  4. Porównanie po 30 minutach obejmuje 4 507 par z wczesną przewagą bez remisu, w tym 1 093 późniejsze odwrócenia kolejności. Ograniczenie do identycznych zapisanych znaczników czasu obejmuje 686 par, w tym 560 par z wczesną przewagą bez remisu i 110 odwróceń. Główny wynik z jednakową wagą klientów uśrednia udziały odwróceń w obrębie klientów dla 403 identyfikatorów z co najmniej 1 wczesną przewagą bez remisu. Średnia wynosi 19,227847%; nie jest ani odsetkiem liczby klientów, ani oszacowaniem dla reprezentatywnej próby firm.
  5. Bonfrer i Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; publikacja online 7 października 2008 r., wydanie czasopisma z 2009 r. Streszczenie wydawcy opisuje prognostyczne podejście split-hazard, 25 kampanii i ramy sekwencyjnego podejmowania decyzji. Potwierdza wcześniejszą historię wczesnej oceny e-maili, a nie poprawność naszych opisowych odsetków z archiwum.
  6. Ustalona z góry selekcja źródła zachowuje dokładnie 2 zaobserwowane rekordy części testowej spełniające kryteria w każdej złożonej grupie klient/test, z pominięciem wierszy wysyłki końcowej. Publiczne pola nie ustalają w pełni konwencji początku i końca zegara wysyłki ani czasu jej trwania, klucza określającego unikalność kliknięcia, aktywności wyłącznie ludzi, mianowników dostarczonych e-maili, pełnego pierwotnego przydziału do eksperymentu ani dojrzałości danych w chwili ich pobrania. Poprawne, niemalejące liczniki nie usuwają tych ograniczeń. Identyczne zapisane znaczniki czasu wysłania nie dowodzą jednoczesnego dostarczenia.
  7. SendGuard900K udostępniono na licencji Creative Commons Attribution 4.0 International. Pakiet badawczy zawiera kod analizy, ustaloną metodę i pochodne tabele zagregowane; nie rozpowszechnia rekordów kampanii ani identyfikatorów klientów lub testów. Odtworzenie analizy na podstawie źródła wymaga osobnego pobrania oryginalnego pliku. Wspólny pakiet zawiera przetłumaczone instrukcje.

Angielski artykuł jest wydaniem źródłowym. Wszystkie wersje językowe opisują to samo historyczne archiwum SendGuard900K, którego źródło deklaruje rekordy z lat 2022–2024. Tłumaczenie nie czyni tych wyników punktem odniesienia dla lokalnego rynku ani dla obecnej sytuacji w branży.

Jasno określ miarę i okno obserwacji