E-Mail-A/B-Tests: Was sich nach der ersten Stunde änderte

Nach 60 Minuten lag bei 4.712 der 5.743 geeigneten Paare eine Version vorn: Ihr erfasster Klickwert war höher als der der anderen. Nach 1.440 Minuten, also 24 Stunden nach dem Versand der jeweiligen Version, lag bei 3.510 weiterhin dieselbe Version vorn. Bei weiteren 991 führte die andere, während 211 gleichauf waren. Unter den Paaren mit anfänglicher Führung behielten 74,5 % diese bei, 21,0 % wechselten die Führung und 4,5 % endeten gleichauf. ^[2]

Verglichen wird eine bestimmte erfasste Größe. Wir teilen den Zähler eindeutiger Klicks jeder Version durch ihre gemeldete Zahl gesendeter E-Mails und multiplizieren mit 100. Die Einheit lautet erfasste Klicks je 100 gesendete E-Mails. Führung bedeutet einen höheren Wert dieser Größe, wie klein der Unterschied auch sein mag. Sie bedeutet kein statistisch signifikantes Ergebnis.

Die Mehrheit sollte dabei sichtbar bleiben. Dieses Archiv zeigt nicht, dass Berichte nach einer Stunde später meist auf den Kopf gestellt wurden. Es enthält fortbestehende Führungen, Wechsel und spätere Gleichstände. Ein Bericht, der nur die anfängliche Reihenfolge festhält, verliert diese Unterschiede zwischen den späteren Verläufen.

Ein Bericht nach einer Stunde kann die damals erfassten Informationen korrekt beschreiben, auch wenn die spätere Reihenfolge anders ausfällt. Einen Führungswechsel als „falschen Gewinner“ zu bezeichnen, ginge weiter: Damit würde die spätere Reihenfolge als Wahrheit behandelt und unterstellt, der frühe Bericht habe mehr als eine aktuelle Führung behauptet. Hier bleiben beide Beobachtungen erhalten. Der Vergleich zeigt eine veränderte erfasste Reihenfolge, keine Fehlerquote eines Entscheidungssystems.

Die Quelle ist außerdem enger gefasst, als der allgemeine Begriff „E-Mail-A/B-Tests“ vermuten lässt. Von den geeigneten Paaren waren 5.647 als Absendername und 96 als Thema gekennzeichnet. Tests des Absendernamens machen damit 98,3 % dieser Analyse aus. Die Ergebnisse sollten weder als Benchmark für Betreffzeilen noch als Schätzung für jede E-Mail-Plattform dargestellt werden.

Das folgende Diagramm verwendet alle 5.743 Paare als Nenner, einschließlich der 1.031 anfänglich gleichauf liegenden Paare. So wird jeder beobachtete Verlauf sichtbar. Die 991 Führungswechsel entsprechen 17,3 % aller Paare, aber 21,0 % der 4.712 Paare mit einer frühen Führung. Beide Zahlen stimmen; sie beantworten unterschiedliche Fragen.

Bei einem Gleichstand nach der ersten Stunde gibt es keine führende Version, die ihre Position behalten oder verlieren könnte. In diesem Archiv lag bei 588 der 1.031 frühen Gleichstände später eine Version vorn, während 443 gleichauf blieben. Das sind 57,0 % der frühen Gleichstände. Dieser Anteil darf nicht zum Anteil der Führungswechsel addiert werden, der von einer anderen Gruppe ausgeht.

Viele frühe Gleichstände enthielten auch wenig erfasste Aktivität. Bei 655 der 1.031 gleichauf liegenden Paare standen beide Zähler eindeutiger Klicks nach der ersten Stunde auf null. Andere Gleichstände konnten positive Zählerstände mit exakt gleichen Verhältnissen enthalten. Wir bestimmen die Gleichheit anhand der ursprünglichen Zähler und Versandzahlen, nicht anhand gerundeter Prozentwerte im Diagramm. ^[3]

Für ein Berichtsteam trennt das „Kein Vorsprung beim erfassten Wert“ von „Beide Versionen sind gleich wirksam“. Ersteres ist eine Beobachtung zu einem bestimmten Zeitpunkt. Letzteres würde Belege verlangen, die dieser beschreibende Vergleich nicht liefert. Dass manche Gleichstände später aufgelöst wurden, bestimmt nicht, welche Version zuvor hätte gewählt werden sollen.

Der Nenner lässt sich mit einer kurzen Rechnung anhand der tatsächlichen Fallzahlen des Archivs prüfen. Teile 588 durch 1.031, um zu beschreiben, was aus den frühen Gleichständen wurde. Teile 991 durch 4.712, um Führungswechsel unter den Paaren mit einer frühen Führung zu beschreiben. Teile eine dieser Fallzahlen nur dann durch 5.743, wenn es um alle geeigneten Paare geht. Die Überschrift des Berichts sollte diese Ausgangsgruppe nennen.

Die 991 Paare mit Führungswechsel hatten nach der ersten Stunde einen medianen absoluten Abstand von 0,062 erfassten Klicks je 100 gesendete E-Mails und nach 24 Stunden von 0,110. Das sind Unterschiede zwischen den erfassten Werten beider Versionen, keine zusätzlichen Personen, zugerechneten Käufe oder prozentualen Umsatzänderungen. ^[3]

Beim Lesen dieses Abstands ist die Versandzahl im Nenner wichtig. Eine Differenz zwischen bloßen Klickzählern reicht nicht aus, um Versionen mit unterschiedlichen Versandzahlen zu vergleichen. Zuerst muss jeder Zähler durch die eigene gemeldete Versandzahl geteilt werden. Ein Abstand von 0,110 in dieser Größe sollte auch nicht als relative Verbesserung von 0,110 % bezeichnet werden: Es ist ein absoluter Unterschied auf der Skala je 100 gesendete E-Mails, ohne zugeordneten Verkaufswert.

Der spätere Abstand war unterschiedlich groß. Bei Paaren mit Führungswechsel lag die mittlere Hälfte ungefähr zwischen 0,025 und 0,336 erfassten Klicks je 100 gesendete E-Mails. Der Median beschreibt damit eine typische Position innerhalb dieser Gruppe; er bedeutet nicht, dass jeder Wechsel klein war. Die Reihenfolge kann sich bei einem kleinen Abstand ändern, und einige erfasste Abstände waren wesentlich größer.

Die anderen Verläufe liefern Kontext. Paare mit beibehaltener Führung hatten einen späteren medianen Abstand von 0,291. Bei Paaren, die vom Gleichstand zur Führung wechselten, betrug er 0,444. Ein späterer Gleichstand hat definitionsgemäß einen Abstand von exakt null. Die Tabelle zeigt alle fünf Verläufe gemeinsam, statt nur die Führungswechsel herauszustellen.

Die frühe und die spätere Spalte enthalten getrennt berechnete Mediane innerhalb jeder Zeile. Sie verfolgen nicht ein typisches Paar, und ihre Subtraktion ergibt nicht die mediane Veränderung über die Paare. Lies sie als Zusammenfassungen des Abstands zum jeweiligen Beobachtungszeitpunkt. Um die Richtung des Vergleichs zu beschreiben, gehört die Verlaufsbezeichnung neben die Größe.

Diese Gruppen werden durch das Geschehen an beiden Zeitpunkten definiert. Ihre medianen Abstände eignen sich nicht als vorausschauende Regeln, um einen Führungswechsel in einer neuen Kampagne zu erkennen. Insbesondere ist der kleinere frühe Median unter den Paaren mit Führungswechsel kein validierter Schwellenwert dafür, wann man sich beim Handeln sicher auf einen Bericht stützen kann.

Zu einem Abstand gehören auch die Zählerstände. Unter allen 4.712 Paaren mit einer Führung nach der ersten Stunde lag der Median der zusammengezählten eindeutigen Klicks beider Versionen bei neun. Bei 488 dieser Paare betrug der gemeinsame Zählerstand genau eins. Das beschreibt die Ausgangsdaten der Paare mit früher Führung; es zeigt nicht, dass gerade diese Paare die Gesamtzahl der Wechsel verursachten oder dass niedrige Zählerstände die Veränderungen erklären.

Wir haben zusätzliche Vergleiche festgelegt, bevor wir die Ergebnisse berechneten. Mit einem Ausgangspunkt nach 30 statt 60 Minuten ergaben sich 4.507 Paare mit früher Führung. Davon wechselten 24,3 % bis Minute 1.440 die Führung. Für die erste Stunde waren es 21,0 % unter 4.712 Paaren mit Führung. Die unterschiedlichen Nenner sind wichtig: Manche Paare waren an einem Zeitpunkt gleichauf und hatten am anderen eine Führung. ^[4]

Das belegt nicht, dass weitere 30 Minuten Wartezeit einen bestimmten Anteil falscher Entscheidungen verhindern. Die beiden Berechnungen beschreiben beobachtete Reihenfolgen nach unterschiedlichen Zeitspannen. Sie weisen keine Wartepolitik zufällig zu und bewerten nicht die Folgen einer Versandentscheidung.

Wir beschränkten den Vergleich nach einer Stunde außerdem auf die 686 Paare, deren Versionen identische erfasste Versandzeitstempel hatten. Von den 560 mit früher Führung wechselten später 19,6 % die Führung. Diese Prüfung verringert einen zeitlichen Unterschied in den erfassten Daten. Gleiche Zeitstempel belegen weder eine gleichzeitige Zustellung noch eine gleichwertige Exposition der Zielgruppen.

Manche Kunden-IDs liefern deutlich mehr Paare als andere. Die Hauptberechnung gewichtet jedes Paar gleich. Eine separate Prüfung berechnet zunächst den Anteil der Führungswechsel innerhalb jeder der 403 Kunden-IDs mit mindestens einer Führung nach einer Stunde und gewichtet anschließend jede dieser IDs gleich. Der Durchschnitt beträgt 19,2 %. Das ist der Mittelwert ihrer Wechselanteile, nicht der Prozentsatz der Kunden, bei denen ein Wechsel vorkam. ^[4]

In diesen vorab festgelegten Prüfungen bleibt die praktische Frage dieselbe: Eine beobachtete frühe Führung kann bestehen bleiben, wechseln oder zum Gleichstand werden. Sie ergeben keine allgemeingültige Wechselwahrscheinlichkeit. Das Archiv enthält wiederholte Einträge innerhalb der Kunden-IDs. Diese IDs sind keine verifizierte Stichprobe unabhängiger Unternehmen.

Ein nützlicher Bericht beginnt mit der anstehenden Entscheidung. Wählt die empfangende Person den nächsten Versand aus, dokumentiert sie einen abgeschlossenen Test oder prüft sie frühere Tests für eine Planungsrunde? Eine Beobachtung nach einer Stunde kann für alle drei Aufgaben relevant sein. Ein für eine Aufgabe vorbereiteter Bericht kann aber Informationen auslassen, die für eine andere gebraucht werden.

Nenne die getestete Variable und die Messgröße, bevor du die führende Version nennst. Hier sind das Absendername oder Thema und anschließend der Zähler eindeutiger Klicks je 100 gemeldete gesendete E-Mails. Ein Team, das zugestellte E-Mails, verifizierte menschliche Klicks oder Käufe verwendet, sollte stattdessen diese Definition angeben. Eine sichtbare Messgröße erleichtert auch die Interpretation späterer Vergleiche.

Stelle danach den Beobachtungszeitpunkt neben Führung oder Gleichstand. Ergänze die Differenz zwischen beiden Werten sowie die Zählerstände und Versandzahlen beider Versionen. So sieht die lesende Person Richtung, Abstand und die dahinter erfasste Aktivität, statt alles aus einer hervorgehobenen Zeile ableiten zu müssen.

Ein beispielhafter Satz zur Übergabe könnte lauten: „Zum [Beobachtungszeitpunkt] beschreibt [Version oder Gleichstand] die aktuelle Reihenfolge nach [definierter Messgröße]; der Abstand beträgt [Wert], gestützt auf [Zählerstände und Versandzahlen].“ Die Klammern markieren Felder, die aus einem echten Bericht auszufüllen sind, keine Kampagnenergebnisse dieser Studie. Ein weiterer Satz sollte die gewählte Handlung und ihren Grund festhalten.

Wenn ein späterer Beobachtungszeitpunkt vorliegt, bewahre die frühere Beobachtung auf und zeige, ob die Führung bestehen blieb, wechselte oder zum Gleichstand wurde. So lässt sich im Rückblick unterscheiden, was damals bekannt war und was später erfasst wurde. Beziehe auch Paare mit anfänglichem Gleichstand ein, sofern der Bericht nicht ausdrücklich nur Paare mit bereits bestehender Führung behandelt.

Die Wahl einer Version hängt weiterhin vom Kampagnenziel, den Zustellbedingungen, der Messqualität und den Kosten beider Möglichkeiten ab. Das Archiv legt diese Regel nicht fest. Es liefert einen konkreten Grund, das einzelne Wort „Gewinner“ nicht gleichzeitig für Beobachtung und Entscheidung stehen zu lassen.

Frühere Forschung betrachtet die Leistung von E-Mail-Kampagnen bereits als etwas, das sich über die Zeit entfaltet. „Real-Time Evaluation of E-mail Campaign Performance“ von Bonfrer und Drèze, 2008 online und 2009 in Marketing Science veröffentlicht, beschreibt eine Vorhersagemethode und einen Rahmen für sequenzielle Entscheidungen, die anhand von 25 Kampagnen bewertet wurden. Die allgemeine Idee, dass frühe und spätere Ergebnisse voneinander abweichen können, ist nicht neu. ^[5]

Diese Analyse beantwortet anhand eines anderen Archivs eine engere beschreibende Frage: Wie oft blieb die erfasste Reihenfolge in den geeigneten Paaren bestehen, wechselte oder wurde zum Gleichstand, und welche Abstände gingen mit diesen Verläufen einher? Sie hält frühe Gleichstände sichtbar und prüft, ob sich das Bild bei vorab festgelegten Zeit- und Gewichtungsvarianten verändert.

Diese Unterscheidung ist für das Lesen der Ergebnisse wichtig. Ein Vorhersagemodell versucht unter seinen Annahmen abzuschätzen, was als Nächstes geschieht. Unsere Tabellen beschreiben, was die veröffentlichten Einträge zu bestimmten Zeitpunkten enthalten. Die beobachteten Prozentsätze können dabei helfen, einen Bericht zu erläutern; sie sind kein Modell zur Auswahl einer Version für die nächste Kampagne.

SendGuard900K enthält 908.229 veröffentlichte Kampagneneinträge. Die Quellenbeschreibung nennt Produktionsmetadaten aus 2022–2024. Wir prüften 6.801 Gruppen, die durch die Kombination aus Kunden-ID und Test-ID bestimmt werden. Davon behielten wir 5.743 Gruppen mit genau zwei geeigneten beobachteten Einträgen zu Testvarianten und positiven gemeldeten Versandzahlen. Einträge zum abschließenden Versand wurden aus dem Paarvergleich ausgeschlossen; ihr Vorhandensein war keine Voraussetzung. ^{[1] [6]}

Die beibehaltenen Paare umfassen 473 Kunden-IDs. Genau zwei geeignete beobachtete Einträge belegen nicht, dass jedes ursprüngliche Experiment nur zwei konfigurierte Varianten hatte, sein Archiv vollständig ist oder Zielgruppen zufällig zugewiesen wurden. Deshalb beschreiben wir beobachtete Paare statt einer verifizierten Sammlung vollständiger randomisierter Experimente.

Für jede Version verwendet die Berechnung den Zähler eindeutiger Klicks nach 30, 60 oder 1.440 Minuten und denselben archivierten Nenner der gemeldeten Versandzahl. Jeder Zeitpunkt wird relativ zum Versand dieser Version gemessen. Die Versionen eines primären Paars müssen nicht dieselbe Versand-Uhrzeit haben. Die Prüfung identischer Zeitstempel ist eine separate Einschränkung und keine Annahme für alle Paare.

Alle erforderlichen Zähler der geeigneten Paare waren vorhanden, gültig und nicht negativ; keiner überschritt seine gemeldete Versandzahl. Kein Zähler nahm zwischen den drei Zeitpunkten ab. Diese Prüfungen stützen die erfasste Arithmetik. Sie können aber nicht klären, was ein eindeutiger Klick bedeutet, wie Bots gefiltert wurden, ob E-Mails zugestellt wurden oder ob spätere Beobachtungen alle irgendwann eintreffenden Reaktionen erfassen. ^[6]

Wir bestimmen Führungen und Gleichstände durch exakte Vergleiche der ursprünglichen Verhältnisse vor dem Runden. Abstände sind absolute Differenzen in erfassten Klicks je 100 gesendete E-Mails. Mediane und andere Quantile folgen der Nearest-Rank-Methode: Die Werte werden sortiert und der festgelegte Rang wird ohne Interpolation ausgewählt. Die Abbildungen runden Prozentsätze auf eine und mediane Abstände auf drei Nachkommastellen. Der Download der Abbildungswerte behält gegebenenfalls sechs Nachkommastellen bei.

Die Methode legte die geeignete Struktur, die Beobachtungszeitpunkte, die fünf Verläufe, die Zusammenfassungen von Zählerständen und Abständen, die Zeitprüfungen sowie die Gleichgewichtung der Kunden fest, bevor Ergebnisse gelesen wurden. Sämtliche vorab festgelegten aggregierten Tabellen bleiben im Forschungsdownload enthalten, einschließlich Nullwerten und Qualitätsprüfungen. Eine unabhängige Reproduktion aus der Quelle stimmte mit allen aggregierten Ergebnissen überein. Es sind beschreibende Archivergebnisse ohne Konfidenzintervalle, Signifikanztests oder Anspruch auf eine repräsentative Branchenstichprobe. ^[7]