Klickrate und Conversion-Rate: Vergleiche dieselben Datensätze

Die Klickrate setzt Klicks zu einer im Bericht festgelegten Möglichkeit zu klicken ins Verhältnis. Die Conversion-Rate setzt ein definiertes Ergebnis zu einer festgelegten Basis ins Verhältnis. Je nach Bericht können das Anzeigenimpressionen, zugestellte Nachrichten, Besuche, Personen mit Klick oder eine andere einbezogene Gruppe sein. Ein sinnvoller Vergleich beginnt damit, die Handlung und den Nenner zu benennen.

„Anmeldungen unter Personen, die geklickt haben“ beantwortet zum Beispiel eine andere Frage als „Anmeldungen unter allen Personen, an die eine Nachricht gesendet wurde“. Ein Bericht kann beide Definitionen verwenden, muss aber klar benennen, welche gemeint ist. Ein Klick ist auch nicht dasselbe wie eine einzelne Person, die geklickt hat: Wiederholte Ereignisse können die Summe verändern.

In dieser Studie ist die gemeinsame Basis ein Empfänger-Newsletter-Datensatz aus der veröffentlichten Datei. Wir zählen, ob er ein Klickkennzeichen und ein Investitionskennzeichen enthält. Uns fehlen sowohl ein Nenner aus zugestellten Nachrichten als auch eine zeitlich geordnete Folge mit Zeitstempeln. Deshalb sprechen wir von erfassten Raten und Überschneidungsanteilen.

Diese Unterscheidung hilft, wenn ein Unternehmen entscheiden muss, ob es die Botschaft, das Angebot oder die Messung verändert. Zwei getrennte Summen zeigen nicht, an welcher Stelle eine Person aufgehört hat. Passende Datensätze zu verknüpfen ist ein Schritt zur Antwort; Reihenfolge und Zeitpunkt der Ereignisse zu bestimmen ist ein weiterer.

Die Forscher Lars Hornuf und Christoph Siemroth arbeiteten mit bettervest, einer deutschen Plattform für kreditbasiertes Crowdfunding, zusammen. Ihr Experiment verglich verschiedene Beschreibungen von zehn Investitionsprojekten in Newslettern. Die veröffentlichte Datei enthält 55.357 Empfänger-Newsletter-Datensätze und 7.864 Empfängercodes. Ein Empfänger kann in bis zu zehn Newslettern vorkommen.^[1][2]

Die Autoren erfassten, ob der Empfänger auf einen individuellen Projektlink im Newsletter klickte und ob er einen positiven Betrag in das Projekt investierte. Jedes Ergebnis ist als Ja-Nein-Kennzeichen gespeichert. Ein Investitionskennzeichen zählt weder Transaktionen noch einen Kaufwert und misst auch keine abgeschlossenen Verkäufe eines Onlineshops.

Die Originalstudie untersucht, wie die Darstellung im Newsletter wirkt. Unsere Neuauswertung stellt eine andere Frage: Wie stark überschneiden sich die beiden erfassten Ergebnisse für denselben Empfänger und Newsletter? Wir fassen alle drei ursprünglichen Versuchsgruppen zusammen und behalten die vollständige veröffentlichte Stichprobe bei. Die Effekte der unterschiedlichen Darstellung schätzen wir nicht neu.

Es handelt sich um historische Daten einer bestimmten Plattform, die 2023 veröffentlicht wurden. Die geprüften Unterlagen legen weder ein gemeinsames Beobachtungsfenster noch die Reihenfolge von Klicks und Investitionen fest. Die Studie liefert deshalb ein Messbeispiel, keinen aktuellen Benchmark für die Conversion-Rate im E-Mail-Marketing.

In 327 der 55.357 Datensätze sind sowohl ein Klick als auch eine Investition erfasst. Weitere 1.499 enthalten einen Klick ohne Investitionskennzeichen, 284 eine Investition ohne Klickkennzeichen und 53.247 keines von beiden. Die Tabelle zeigt alle vier Möglichkeiten.

In der vollständigen Datei haben 1.826 Datensätze ein Klickkennzeichen, also 3,30 %. Insgesamt 611 haben ein Investitionskennzeichen, also 1,10 %. Das sind die beiden Randanteile. Sie beschreiben, wie häufig jedes Kennzeichen vorkommt, aber nicht, wie oft beide in denselben Datensätzen stehen.

Von den 611 Datensätzen mit Investitionskennzeichen enthalten 327 auch ein Klickkennzeichen. Das sind 53,52 %; die übrigen 46,48 % enthalten keinen erfassten Klick. Drehst du die Frage um, ändert sich der Nenner: Unter den 1.826 Datensätzen mit Klick enthalten 327 auch eine Investition, also 17,91 %.

Beide Prozentwerte sind richtig, weil sie unterschiedliche Fragen beantworten. Der erste beginnt bei Datensätzen mit Investition und fragt nach Klicks. Der zweite beginnt bei Datensätzen mit Klick und fragt nach Investitionen. Keiner darf als Wahrscheinlichkeit dargestellt werden, dass ein Klick zu einer späteren Investition führte.

Ein Datensatz mit Investition, aber ohne Klick erklärt seinen eigenen Verlauf nicht. Er zeigt nicht, dass eine Person den Newsletter umgangen hat, dass ein Trackingtool ein Ereignis übersehen hat oder dass ein anderer Kanal die Investition verursachte. Dafür bräuchten wir Informationen über Erfassung, Zeitpunkte und weitere Aktivitäten, die diese Veröffentlichung nicht liefert.

Für Kampagnenverantwortliche folgt daraus ein enger gefasster, praktischer Schritt: Bewahre die Zahl der gemeinsamen Datensätze neben den getrennten Summen auf. Wenn sich die Geschäftsfrage auf Personen bezieht, die beide Handlungen ausgeführt haben, gehört diese Schnittmenge zur Antwort. Ein Quotient aus zwei Summen ohne Abgleich ihrer Datensätze ersetzt sie nicht.

Die Überschneidung unterscheidet sich zwischen den zehn ursprünglichen Newslettern. Unter den Datensätzen mit Investition liegt der Anteil mit zusätzlichem Klickkennzeichen zwischen 29,55 % und 78,43 %. Wir zeigen jeden Newsletter, damit keiner der beiden Randwerte stellvertretend für die gesamte Studie steht.

Die Newsletter-Nummern unten sind Codes aus der Quelldatei, keine zeitliche Reihenfolge und keine Rangliste. Die kleinste Investitionsbasis umfasst 31 Datensätze, die größte 118. Wird ein hoher Prozentwert auf kleiner Basis zitiert, sollte diese Basis direkt beim Ergebnis stehen.

Mit den vollständigen Zahlen unten lässt sich der Vergleich prüfen. Addiere für jeden Newsletter „Beides“ und „Nur Investition“, um die Investitionsbasis zu erhalten. „Beides“ und „Nur Klick“ ergeben die Klickbasis. Alle vier Zellen ergeben zusammen die Gesamtzahl des jeweiligen Newsletters.

Diese Unterschiede zeigen nicht, welcher Newsletter am besten gestaltet ist. Die Projekte unterscheiden sich, dieselben Empfänger können wiederholt vorkommen und die neue Auswertung fasst die ursprünglichen Versuchsgruppen zusammen. Es gibt keine Signifikanztests je Newsletter und keine Aussage, dass ein bestimmtes Projekt eine stärkere Überschneidung verursacht hat.

Wenn dein Unternehmen mehrere Kampagnen durchführt, behalte die Details jeder Kampagne neben dem Gesamtbericht. Willst du eine bestimmte Kampagne verändern, beginne mit ihrer eigenen Zeile und ihren Fallzahlen. Für Berichte über mehrere Kampagnen behältst du die gemeinsame Tabelle. Wähle nicht erst nach dem Ergebnis eine günstige Kampagne aus.

Unser Hauptvergleich gewichtet jeden Empfänger-Newsletter-Datensatz gleich. Ein Empfänger in zehn Newslettern trägt deshalb zehn Datensätze bei, jemand mit nur einem Vorkommen einen. Das passt zur Beschreibung der veröffentlichten Datensätze, ist aber nicht die einzig mögliche Zusammenfassung.

In einem vorab festgelegten Zusatzvergleich geben wir jedem Empfängercode ein Gesamtgewicht von eins. Wer in zehn Newslettern vorkommt, trägt pro Datensatz ein Zehntel bei; wer nur einmal vorkommt, trägt eins bei. Jeder Empfängercode erhält damit dasselbe Gesamtgewicht. Die Stichprobe wird dadurch nicht repräsentativ für ein Land oder einen Markt.

Bei dieser Gewichtung entfallen 51,69 % des Investitionsgewichts auf Datensätze mit zusätzlichem Klickkennzeichen, gegenüber 53,52 % im Hauptvergleich. Der umgekehrte Anteil beträgt 19,12 % statt 17,91 %. Wir behalten beide Zusammenfassungen bei. Der Zusatzvergleich beschreibt etwas anderes und ist keine Korrektur, die wegen eines günstigeren Ergebnisses gewählt wurde.

Die gewichteten Zellensummen enthalten Bruchteile, weil Beiträge wie ein Halb oder ein Zehntel addiert werden. Zusammen ergeben sie 7.864, die Zahl der Empfängercodes. Sie dürfen weder als Bruchteile von Menschen noch als Anzahlen unterschiedlicher Investoren mit der jeweiligen Handlung bezeichnet werden.^[3]

Bevor du eine Kampagne als Funnel interpretierst, halte kurz fest, wie du messen willst. Die frei zugängliche Vorlage hilft bei der Planung deines eigenen Berichts. Sie setzt weder voraus, dass der historische Datensatz dieselben Definitionen verwendet hat, noch dass eine veränderte Messung den Umsatz steigert.

Entscheidung: „Wir wollen für [Kampagne] entscheiden, [was wir an Botschaft, Angebot oder Bericht ändern].“ Lege die Entscheidung fest, bevor du eine passende Rate auswählst.

Einheit und Basis: „Eine Zeile steht für [Empfänger und Kampagne, Besuch oder eine andere durch die Daten abgedeckte Einheit]. Unsere einbezogene Basis ist [Definition]. Wiederholte Ereignisse und Empfänger behandeln wir nach [Regel].“ Trenne die Zahl der Ereignisse von der Zahl der Kennungen.

Handlungen: „Ein Klick bedeutet [konkretes erfasstes Ereignis]. Ein Ergebnis bedeutet [Anmeldung, qualifizierte Anfrage, abgeschlossener Kauf oder eine andere definierte Handlung].“ Lege fest, wie Stornierungen, Erstattungen, Testereignisse und Duplikate behandelt werden.

Verknüpfung und Zeit: „Wir verknüpfen Datensätze mit [Kennung, deren Nutzung zulässig ist]. Klicks beobachten wir in [Zeitraum], Ergebnisse in [Zeitraum]. Die Reihenfolge können wir anhand von [verfügbaren Zeitstempeln] bestimmen.“ Fehlt eine Verknüpfung oder ein Zeitstempel, benenne das, statt die Lücke mit einem angenommenen Ablauf zu füllen.

Bericht: „Wir zeigen nur Klick, nur Ergebnis, beides und keines von beiden sowie die einbezogene Basis. Bedingte Prozentwerte benennen ihren Nenner.“ Nicht verfügbare oder nicht verknüpfbare Datensätze bleiben als eigene Frage des Berichts sichtbar. Ordne sie nicht stillschweigend „keines von beiden“ zu.

Verwendung: „Dieser Bericht beschreibt [beobachteten Zusammenhang]. Um zu behaupten, [dass eine Kampagne mehr Ergebnisse verursacht hat], bräuchten wir [einen geeigneten Vergleichsaufbau].“ Die Überschneidungstabelle allein liefert diesen kausalen Vergleich nicht.

Betrachten wir eine fiktive Creatorin mit 1.000 einbezogenen Empfänger-Kampagnen-Datensätzen. Angenommen, ihre festgelegten Zeitfenster und das zulässige Zuordnungsverfahren ergeben 80 Datensätze mit Klick, 30 mit Anmeldung und 18 mit beidem. Das sind erfundene Werte zur Erklärung, kein weiteres Ergebnis aus den Crowdfunding-Daten.

Die vollständige Tabelle enthält 18 Datensätze mit beidem, 62 nur mit Klick, 12 nur mit Anmeldung und 908 mit keinem von beidem. Die Klickrate ist 80 geteilt durch 1.000, also 8 %. Die Anmelderate ist 30 geteilt durch 1.000, also 3 %.

Unter den Datensätzen mit Klick enthalten 18 von 80 auch eine Anmeldung: 22,5 %. Unter den Datensätzen mit Anmeldung enthalten 18 von 30 auch einen Klick: 60 %. Die Creatorin kann alle vier Zahlen nennen, ohne den Eindruck zu erwecken, sie würden dasselbe messen.

Die 12 Datensätze nur mit Anmeldung sollten neutral beschrieben werden, solange der Creatorin Belege über die jeweiligen Abläufe fehlen. Selbst wenn Zeitstempel zeigen, dass ein Klick vor einer Anmeldung lag, beweist die Reihenfolge allein nicht, dass der Newsletter sie verursachte. Mit der Tabelle lässt sich die nächste Frage präzisieren, ohne sie als Schätzung eines Umsatzanstiegs zu behandeln.

Eine nützliche ausgefüllte Beschreibung könnte lauten: „Wir beschreiben die Überschneidung erfasster Anmeldungen für diese Kampagne und diese Zeitfenster. Wir behalten alle vier Kategorien bei, zeigen beide bedingten Bezugsgrößen und berichten getrennt über Datensätze, die wir nicht zuordnen können.“ Das hilft bei Entscheidungen mehr als die Bezeichnung Conversion-Rate, deren Nenner niemand benennen kann.

Wir nutzten die vollständige finale Stata-Datei aus der ersten öffentlichen Version der Autoren. Vor der Berechnung der gemeinsamen Ergebnisse prüften wir die Identität der Datei, die sieben benötigten Zahlenfelder, alle 55.357 eindeutigen Empfänger-Newsletter-Paare, 7.864 Empfängercodes und zehn Newsletter-Codes. Beide Kennzeichen mussten vorhanden und exakt als null oder 100 codiert sein.^[2]

Wir prüften die Fallzahlen der drei Versuchsgruppen und reproduzierten die gerundeten Randanteile für Klicks und Investitionen aus der Publikation. Es wurden keine Datensätze entfernt, imputiert oder dedupliziert. Anschließend zählten wir alle vier Kombinationen insgesamt und für jeden Newsletter und berechneten dieselben Größen mit der festgelegten gleichen Gewichtung je Empfänger.

Zwei unabhängig geschriebene Implementierungen ergaben identische Anzahlen und exakte Brüche. Das Downloadpaket enthält eigenen Berechnungscode, die Methode und sämtliche aggregierten Tabellen. Rohdatensätze und Empfängerkennungen sind nicht enthalten. Beziehe die Quelldatei gesondert von den Autoren und behalte deren Quellenangabe bei.

Dieser vollständigen Auszählung der veröffentlichten Datei fügen wir keine Stichproben-Konfidenzintervalle hinzu. Die Anzahlen sind für diese Datensätze exakt, sagen aber nichts über die Genauigkeit für eine größere Grundgesamtheit aus. Wiederholte Empfänger und gemeinsame Projekte wären für eine Verallgemeinerung relevant, die diese Studie nicht anstrebt.

Der praktische Beitrag besteht in der vollständigen erfassten Überschneidung und einer klaren Grundlage für die nächste Messfrage. Die Auswertung ergänzt das ursprüngliche Experiment der Autoren. Lege für Kampagnenentscheidungen Ergebnis, Basis, Zuordnungsregel und Zeitfenster fest, bevor du entscheidest, was eine ausgewiesene Conversion-Rate bedeutet.