A/B-tests voor e-mail: wat er na het eerste uur veranderde

Na 60 minuten lag in 4.712 van de 5.743 geselecteerde paren één versie voor: die had een hogere geregistreerde klikwaarde dan de andere. Na 1.440 minuten, oftewel 24 uur na verzending van elke versie, lag bij 3.510 paren nog steeds dezelfde versie voor. Bij 991 paren lag de andere versie voor en bij 211 waren de waarden gelijk. Van de paren die met een voorsprong begonnen, behield dus 74,5% die voorsprong, keerde 21,0% om en eindigde 4,5% gelijk. ^[2]

Dit zijn vergelijkingen van een specifieke geregistreerde maat. We delen voor elke versie de teller voor unieke klikken door het opgegeven aantal verzonden e-mails en vermenigvuldigen de uitkomst met 100. De eenheid is daarmee geregistreerde klikken per 100 verzonden e-mails. Een voorsprong betekent een hogere waarde van die maat, hoe klein het verschil ook is. Het betekent geen statistisch significant resultaat.

Het is goed om de meerderheid in beeld te houden. Dit archief laat niet zien dat rapporten na het eerste uur doorgaans werden ingehaald door een tegenovergestelde uitkomst. Het laat zien dat behoud, omkering en een latere gelijke stand alle drie voorkwamen. Een rapport dat alleen de vroege rangorde vastlegt, verliest het onderscheid tussen die latere verlopen.

Een rapport na het eerste uur kan de toen geregistreerde informatie correct beschrijven, ook als de rangorde later verandert. Een omkering een “valse winnaar” noemen, gaat verder: dan behandel je de latere rangorde als de waarheid en neem je aan dat het vroege rapport meer beweerde dan een voorsprong op dat moment. Hier behouden we beide waarnemingen. De vergelijking toont een verandering in de geregistreerde rangorde, geen foutenpercentage van een beslissysteem.

De bron is ook beperkter dan de algemene term “A/B-tests voor e-mail” doet vermoeden. Van de geselecteerde paren hadden er 5.647 het label afzendernaam en 96 het label onderwerp. Tests van afzendernamen vormen dus 98,3% van deze analyse. De bevindingen zijn geen benchmark voor onderwerpregels en geen schatting voor alle e-mailplatforms.

De onderstaande grafiek gebruikt alle 5.743 paren als noemer, inclusief de 1.031 die met een gelijke stand begonnen. Zo blijft elk waargenomen verloop zichtbaar. De 991 omkeringen zijn 17,3% van alle paren, maar 21,0% van de 4.712 paren met een vroege voorsprong. Beide cijfers kloppen; ze beantwoorden verschillende vragen.

Bij een gelijke stand na het eerste uur is er geen voorliggende versie waarvan de voorsprong kan blijven bestaan of omkeren. In dit archief ontstond later bij 588 van de 1.031 vroege gelijke standen een voorsprong; 443 bleven gelijk. Dat is 57,0% van de vroege gelijke standen. Dit percentage kun je niet optellen bij het omkeringspercentage, dat uitgaat van een andere groep.

Bij veel vroege gelijke standen was ook weinig activiteit geregistreerd. In 655 van de 1.031 gelijke paren waren beide tellers voor unieke klikken na het eerste uur nul. Andere gelijke standen konden positieve tellers hebben met exact dezelfde verhouding. We bepalen gelijkheid op basis van de onderliggende aantallen en verzendtotalen, niet met afgeronde percentages in een grafiek. ^[3]

Voor een rapportageteam maakt dit onderscheid tussen “de geregistreerde maat laat geen voorsprong zien” en “de twee versies presteren even goed”. Het eerste is een waarneming op een aangegeven meetmoment. Voor het tweede is bewijs nodig dat deze beschrijvende vergelijking niet levert. Dat sommige gelijke standen later uiteenlopen, zegt niet welke versie eerder gekozen had moeten worden.

De noemer is te controleren met een korte berekening op basis van de werkelijke archiefaantallen. Deel 588 door 1.031 om te beschrijven wat er met vroege gelijke standen gebeurde. Deel 991 door 4.712 voor omkeringen onder paren met een vroege voorsprong. Deel een van beide aantallen alleen door 5.743 als de vraag over alle geselecteerde paren gaat. De titel van een rapport moet die begingroep expliciet noemen.

Bij de 991 paren waarin de voorsprong omkeerde, was het mediane absolute verschil na het eerste uur 0,062 geregistreerde klikken per 100 verzonden e-mails en na 24 uur 0,110. Dit zijn verschillen tussen de geregistreerde maten van beide versies, geen extra personen, toegeschreven aankopen of procentuele omzetveranderingen. ^[3]

De verzendnoemer is belangrijk bij het lezen van dat verschil. Alleen het verschil tussen ruwe kliktellers is onvoldoende om versies met verschillende verzendtotalen te vergelijken. Elke teller moet eerst door het eigen opgegeven verzendtotaal worden gedeeld. Een verschil van 0,110 op deze maat is ook geen relatieve verbetering van 0,110%: het is een absoluut verschil op de schaal per 100 verzonden e-mails, zonder bijbehorende verkoopwaarde.

De grootte van het latere verschil liep uiteen. Bij de omgekeerde paren lag de middelste helft ongeveer tussen 0,025 en 0,336 geregistreerde klikken per 100 verzonden e-mails. De mediaan beschrijft dus een positie in het midden van deze groep; hij betekent niet dat elke omkering klein was. Een rangorde kan bij een klein verschil omslaan, en sommige geregistreerde verschillen waren veel groter.

De andere verlopen geven nuttige context. Paren met een behouden voorsprong hadden later een mediaan verschil van 0,291. Bij paren die van een gelijke stand naar een voorsprong gingen, was dat 0,444. Een latere gelijke stand heeft per definitie een exact verschil van nul. De tabel houdt alle vijf verlopen bij elkaar en licht niet alleen de omkeringen uit.

De vroege en latere kolommen zijn afzonderlijke medianen binnen elke rij. Ze volgen niet één typisch paar, en door ze van elkaar af te trekken krijg je niet de mediane verandering tussen paren. Lees ze als samenvattingen van het verschil op elk meetmoment. Gebruik het label van het verloop naast de grootte om de richting van de vergelijking te beschrijven.

Deze groepen zijn bepaald door wat er op beide meetmomenten gebeurde. Hun mediane verschillen zijn niet te gebruiken als vooraf toepasbare regels om een omkering in een nieuwe campagne te herkennen. Vooral de kleinere vroege mediaan bij omgekeerde paren is geen gevalideerde grens om te bepalen wanneer je veilig op een rapport kunt handelen.

Ook de aantallen horen naast het verschil te staan. Onder alle 4.712 paren met een voorsprong na het eerste uur was de mediaan van de gezamenlijke teller voor unieke klikken van beide versies negen. Bij 488 van die paren was de gezamenlijke teller precies één. Dat beschrijft de startinformatie onder vroege koplopers; het toont niet aan dat juist die paren het totale aantal omkeringen veroorzaakten of dat lage aantallen de veranderingen verklaren.

We legden aanvullende vergelijkingen vast voordat we de uitkomsten berekenden. Met 30 in plaats van 60 minuten als startpunt waren er 4.507 paren met een vroege voorsprong. Op het meetmoment van 1.440 minuten was de voorsprong bij 24,3% omgekeerd. Bij het eerste uur was dat 21,0% van 4.712 paren met een voorsprong. De verschillende noemers doen ertoe: sommige paren stonden op het ene meetmoment gelijk en hadden op het andere een voorsprong. ^[4]

Dit bewijst niet dat 30 minuten extra wachten een bepaald aandeel verkeerde beslissingen voorkomt. De twee berekeningen beschrijven waargenomen rangordes op verschillende tijdstippen sinds verzending. Ze wijzen geen wachttijdbeleid willekeurig toe en beoordelen niet de gevolgen van een uitrolbeslissing.

We beperkten de vergelijking na het eerste uur ook tot de 686 paren waarvan beide versies hetzelfde geregistreerde verzendtijdstip hadden. Van de 560 met een vroege voorsprong keerde 19,6% later om. Deze controle verkleint één timingverschil in de geregistreerde gegevens. Gelijke tijdstippen bewijzen geen gelijktijdige bezorging of gelijkwaardige blootstelling van ontvangers.

Sommige klant-ID’s leveren veel meer paren dan andere. In de hoofdberekening telt elk paar even zwaar mee. Een afzonderlijke controle berekent eerst het omkeringsaandeel binnen elk van de 403 klant-ID’s met minstens één voorsprong na het eerste uur en laat vervolgens elk van die ID’s even zwaar meetellen. Het gemiddelde is 19,2%. Dat is het gemiddelde van hun omkeringsaandelen, niet het percentage klanten dat een omkering meemaakte. ^[4]

Samen houden de vooraf vastgelegde controles de praktische kwestie overeind: een waargenomen vroege voorsprong kan behouden blijven, omkeren of een gelijke stand worden. Ze leveren geen universele kans op omkering op. Het archief bevat herhaalde records binnen klant-ID’s, en die ID’s zijn geen geverifieerde steekproef van onafhankelijke bedrijven.

Een bruikbaar rapport begint bij de beslissing die genomen moet worden. Kiest de ontvanger de volgende verzending, legt die een afgeronde test vast of bekijkt die eerdere tests voor een planningsbijeenkomst? Een waarneming na het eerste uur kan voor al die taken relevant zijn, maar een rapport voor de ene taak kan informatie missen die voor de andere nodig is.

Benoem de geteste variabele en de maat voordat je de koploper noemt. Hier betekent dat afzendernaam of onderwerp, gevolgd door de teller voor unieke klikken per 100 opgegeven verzonden e-mails. Een team dat bezorgde e-mails, geverifieerde menselijke klikken of aankopen gebruikt, moet die definitie vermelden. Door de maat zichtbaar te houden, zijn latere vergelijkingen ook beter te begrijpen.

Zet vervolgens het meetmoment naast de voorsprong of gelijke stand. Vermeld het verschil tussen beide maten en de onderliggende teller- en verzendtotalen van beide versies. Zo ziet de lezer de richting, het verschil en de geregistreerde activiteit erachter, in plaats van alle drie uit één gemarkeerde rij te moeten afleiden.

Een voorbeeldzin voor de overdracht is: “Op [meetmoment] beschrijft [versie of gelijke stand] de huidige rangorde in [gedefinieerde maat]; het verschil is [waarde], op basis van [tellers en verzendtotalen].” De tekst tussen haakjes bestaat uit velden die je met een echt rapport invult, niet uit campagneresultaten van dit onderzoek. Leg de gekozen actie en de reden daarvoor in een afzonderlijke zin vast.

Als een later meetmoment beschikbaar is, bewaar dan de eerdere waarneming en laat zien of de voorsprong behouden bleef, omkeerde of een gelijke stand werd. Zo kan een terugblik onderscheiden wat destijds bekend was en wat later werd geregistreerd. Neem ook paren op die gelijk begonnen, tenzij het rapport expliciet alleen gaat over paren die al een voorsprong hadden.

Welke versie je kiest, hangt nog steeds af van het campagnedoel, verzendbeperkingen, de meetkwaliteit en de kosten van beide keuzes. Het archief bepaalt die regel niet. Het geeft wel een goede reden om niet één woord, “winnaar”, te laten staan voor zowel de waarneming als de beslissing.

Eerder onderzoek behandelt e-mailprestaties al als iets dat zich in de tijd ontwikkelt. “Real-Time Evaluation of E-mail Campaign Performance” van Bonfrer en Drèze, online gepubliceerd in 2008 en in Marketing Science in 2009, beschrijft een voorspellende methode en een kader voor opeenvolgende beslissingen, beoordeeld aan de hand van 25 campagnes. Het algemene idee dat vroege en latere resultaten kunnen verschillen, is niet nieuw. ^[5]

Deze analyse beantwoordt een beperktere, beschrijvende vraag met een ander archief: hoe vaak bleef de geregistreerde rangorde behouden, keerde die om of ontstond er een gelijke stand bij de geselecteerde paren, en welke verschillen hoorden bij die verlopen? Vroege gelijke standen blijven zichtbaar, en we controleren of het beeld verandert bij vooraf vastgelegde keuzes voor timing en weging.

Dat onderscheid is belangrijk bij het lezen van de bevindingen. Een voorspellend model probeert onder zijn aannames te schatten wat er daarna gebeurt. Onze tabellen beschrijven wat de vrijgegeven records op bepaalde tijdstippen sinds verzending bevatten. De waargenomen percentages kunnen helpen om een rapport uit te leggen; ze zijn geen model om de versie voor de volgende campagne te kiezen.

SendGuard900K bevat 908.229 vrijgegeven campagnerecords. Volgens de bronbeschrijving gaat het om productiemetadata uit 2022–2024. We beoordeelden 6.801 groepen, geïdentificeerd met de combinatie van klant-ID en test-ID, en behielden 5.743 groepen met precies twee waargenomen records van testonderdelen die aan de criteria voldeden en positieve opgegeven verzendtotalen hadden. Records van de definitieve uitrol zijn uitgesloten van de paarvergelijking; hun aanwezigheid was geen vereiste. ^{[1] [6]}

De geselecteerde paren omvatten 473 klant-ID’s. Precies twee waargenomen records die aan de criteria voldoen, bewijzen niet dat elk oorspronkelijk experiment slechts twee ingestelde varianten had, dat het archief volledig is of dat ontvangers willekeurig werden toegewezen. Daarom spreken we van waargenomen paren, niet van een geverifieerde verzameling volledige gerandomiseerde experimenten.

Voor elke versie gebruikt de berekening de teller voor unieke klikken na 30, 60 of 1.440 minuten en dezelfde gearchiveerde noemer van opgegeven verzonden e-mails. Elk meetmoment is relatief aan de verzending van die versie. Een paar in de hoofdanalyse hoeft niet op hetzelfde kloktijdstip te zijn verzonden. De controle met gelijke tijdstippen is een afzonderlijke beperking, geen aanname voor elk paar.

Alle vereiste tellers in de geselecteerde paren waren beschikbaar, geldig en niet-negatief; geen enkele was groter dan het opgegeven verzendtotaal. Geen teller daalde tussen de drie meetmomenten. Deze controles ondersteunen de geregistreerde berekening, maar stellen niet vast wat een unieke klik betekent, hoe bots worden gefilterd, of e-mails zijn bezorgd of dat latere waarnemingen elke uiteindelijke reactie bevatten. ^[6]

We bepalen voorsprongen en gelijke standen door de onderliggende verhoudingen exact te vergelijken vóór afronding. Verschillen zijn absolute verschillen in geregistreerde klikken per 100 verzonden e-mails. Medianen en andere kwantielen volgen de nearest-rankmethode: sorteer de waarden en kies de aangegeven rang, zonder interpolatie. De figuren ronden percentages af op één decimaal en mediane verschillen op drie; de download met figuurwaarden bewaart waar van toepassing zes decimalen.

De methode legde de selectiecriteria, meetmomenten, vijf verlopen, samenvattingen van aantallen en verschillen, timingcontroles en berekening per klant vast voordat de uitkomsten werden gelezen. Alle vooraf vastgelegde geaggregeerde tabellen blijven in de onderzoeksdownload staan, inclusief nulaantallen en kwaliteitscontroles. Onafhankelijke reproductie uit de bron kwam overeen met alle geaggregeerde uitkomsten. Dit zijn beschrijvende archiefresultaten, zonder betrouwbaarheidsintervallen, significantietoetsen of een claim op een representatieve steekproef van de sector. ^[7]