Míra prokliku a míra konverze: porovnávejte stejné záznamy
Nová analýza 55 357 historických crowdfundingových záznamů ukazuje, co se změní, když příznaky kliknutí a investice propojíte, místo abyste četli jejich součty odděleně.
Původní reanalýza veřejného datasetu newsletterů bettervest, který Hornuf a Siemroth zveřejnili v roce 2023.
Abstrakt
Míra kliknutí a míra výsledné akce popisují různé akce. K pochopení jejich vztahu je třeba ověřit, které záznamy obsahují obojí. Znovu jsme analyzovali 55 357 záznamů dvojic příjemce–newsletter z německého crowdfundingového experimentu zveřejněného v roce 2023. Z 611 záznamů s příznakem investice do projektu mělo 327 také příznak kliknutí v newsletteru: 53,52 %. Zbývajících 284, tedy 46,48 %, jej nemělo.
Výsledek dává firmám a tvůrcům konkrétní důvod zkoumat překryv v pozadí reportu kampaně. Neukazuje, že selhalo měření ani že e-mail způsobil investici. Zveřejněné záznamy neurčují pořadí událostí ani společné období měření. Ukazujeme úplné srovnání 4 kombinací, všech 10 newsletterů a šablonu pro definování vlastního propojeného měření firmy před interpretací konverzního trychtýře.
Představte si tvůrce, který vyhodnocuje spuštění workshopu. Jeden report ukazuje kliknutí v newsletteru. Druhý ukazuje registrace. Oba součty jsou skutečné, ale jejich postavení vedle sebe tvůrci neřekne, kolik registrací patří lidem, kteří klikli.
Chybějícím výpočtem je překryv. Může být malý i velký a 2 hlavní součty jej neurčují. Veřejný crowdfundingový dataset nám umožňuje výpočet ukázat na skutečných záznamech a zároveň oddělit praktickou otázku od tvrzení, která data nemohou podpořit.
2 součty potřebují propojení

Jaký je rozdíl mezi mírou prokliku a mírou konverze?
Míra prokliku uvádí kliknutí vzhledem k uvedeným příležitostem ke kliknutí. Míra konverze uvádí definovanou výslednou akci vzhledem k uvedenému základu. Podle reportu mohou být základem zobrazení reklam, doručené zprávy, návštěvy, lidé, kteří klikli, nebo jiná způsobilá skupina. Užitečné srovnání začíná pojmenováním akce i jejího jmenovatele.
Například „registrace mezi lidmi, kteří klikli“ odpovídají na jinou otázku než „registrace mezi všemi, kterým byla odeslána zpráva“. Report může použít kteroukoli definici, ale označení musí čtenáři říct, kterou má na mysli. Kliknutí je také něco jiného než jedinečný člověk, který klikl; opakované události mohou součet změnit.
V této studii je společným základem záznam dvojice příjemce–newsletter ve zveřejněném datasetu. Počítáme, zda záznam obsahuje příznak kliknutí a zda obsahuje příznak investice. Nemáme jmenovatel doručených zpráv ani posloupnost s časovými razítky, proto je nazýváme zaznamenanými mírami a podíly překryvu.
Toto rozlišení je užitečné, když se firma rozhoduje, zda změnit sdělení, nabídku nebo měření. 2 samostatné součty nedokážou určit bod, v němž se konkrétní člověk zastavil. Propojení způsobilých záznamů je krokem k odpovědi; určení pořadí a načasování událostí je dalším.
Co crowdfundingový dataset měřil?
Výzkumníci Lars Hornuf a Christoph Siemroth spolupracovali s bettervest, německou platformou dluhového crowdfundingu. Jejich experiment porovnával různé způsoby popisu 10 investičních projektů v newsletterech. Zveřejněný dataset obsahuje 55 357 záznamů dvojic příjemce–newsletter a 7 864 kódů příjemců. Příjemce se může objevit až v 10 newsletterech.[1][2]
Autoři zaznamenali, zda příjemce klikl na jedinečný odkaz projektu v newsletteru a zda do projektu investoval kladnou částku. Každý výsledek je uložen jako příznak ano/ne. Příznak investice není počet transakcí, hodnota nákupu ani metrika dokončených prodejů v e-shopu.
Původní práce zkoumá účinky způsobu prezentace sdělení v newsletteru. Naše reanalýza se ptá na něco jiného: nakolik se 2 zaznamenané výsledky překrývají u stejného příjemce a newsletteru? Spojujeme všechny 3 původní experimentální skupiny a ponecháváme celý zveřejněný vzorek. Účinky způsobu prezentace znovu neodhadujeme.
Jde o historické záznamy z konkrétní crowdfundingové platformy zveřejněné v roce 2023. Posouzené materiály neurčují společné období pozorování ani pořadí kliknutí a investic. Studie proto poskytuje příklad měření, nikoli současný benchmark míry konverze v e-mailovém marketingu.
Jak často se kliknutí a investice objevily společně?
Zaznamenané kliknutí a investice se objevují společně u 327 z 55 357 záznamů. Dalších 1 499 záznamů má kliknutí bez příznaku investice, 284 má investici bez příznaku kliknutí a 53 247 nemá ani jeden. Tabulka ponechává viditelné všechny 4 možnosti.
V úplném souboru má 1 826 záznamů příznak kliknutí, tedy 3,30 %. Celkem 611 má příznak investice, tedy 1,10 %. To jsou 2 marginální míry. Říkají, jak častý je každý příznak, ale ne jak často příznaky patří ke stejným záznamům.
Úplný překryv kliknutí a investic
Všech 55 357 záznamů dvojic příjemce–newsletter v historickém vydání bettervest zveřejněném v roce 2023.
| Zaznamenaná kombinace | Záznamy | Podíl ze všech záznamů |
|---|---|---|
| Kliknutí a investice | 327 | 0,59 % |
| Pouze kliknutí | 1 499 | 2,71 % |
| Pouze investice | 284 | 0,51 % |
| Ani jeden příznak | 53 247 | 96,19 % |
Mezi 611 záznamy s příznakem investice má 327 také příznak kliknutí. To je 53,52 %; zbývajících 46,48 % nemá zaznamenané kliknutí. Obraťte otázku a změní se jmenovatel: mezi 1 826 záznamy s příznakem kliknutí má 327 také příznak investice, tedy 17,91 %.
Obě procenta jsou správná, protože odpovídají na různé otázky. První vychází ze záznamů s investicí a ptá se na kliknutí. Druhé vychází ze záznamů s kliknutím a ptá se na investice. Ani jedno se nemá prezentovat jako pravděpodobnost, že kliknutí vedlo k pozdější investici.
Odpověď se mění s výchozí skupinou
Historické zdrojové záznamy: 611 příznaků investice a 1 826 příznaků kliknutí.
| Otázka | Odpovídající záznamy | Záznamy v základu | Podíl z uvedeného základu |
|---|---|---|---|
| Záznamy s investicí i kliknutím | 327 | 611 | 53,52 % |
| Záznamy s investicí bez kliknutí | 284 | 611 | 46,48 % |
| Záznamy s kliknutím i investicí | 327 | 1 826 | 17,91 % |
Záznam pouze s investicí nevysvětluje vlastní historii. Nemohl by nám říct, že člověk newsletter obešel, že měření nezachytilo událost nebo že investici způsobil jiný kanál. Taková vysvětlení by vyžadovala důkazy o sběru, načasování a další aktivitě, které toto vydání neposkytuje.
Pro člověka odpovědného za kampaň je bezprostřední důsledek užší a praktický: vedle samostatných součtů uchovejte počet propojených záznamů. Týká-li se obchodní otázka lidí, kteří provedli obě akce, je tento průnik součástí odpovědi. Poměr vytvořený ze 2 nepropojených součtů jej nenahradí.
Vypadá překryv u každého newsletteru stejně?
Překryv se napříč 10 zdrojovými newslettery liší. Mezi záznamy s příznakem investice se podíl těch, které mají také příznak kliknutí, pohybuje od 29,55 % do 78,43 %. Ukazujeme každý newsletter, aby žádná krajní hodnota nezastupovala celou studii.
Čísla newsletterů níže jsou zdrojové kódy, nikoli časová posloupnost nebo pořadí podle výsledků. Nejmenší základ s investicí tvoří 31 záznamů a největší 118. Při citování výsledku by velké procento z malého základu mělo zůstat spojené s tímto základem.
Oba směry překryvu s jejich základy
Všech 10 historických newsletterů; úplné podkladové počty jsou v následující tabulce.
| Zdrojový newsletter | Kliknutí mezi záznamy s investicí | Záznamy s investicí | Investice mezi záznamy s kliknutím | Záznamy s kliknutím |
|---|---|---|---|---|
| Newsletter 1 | 78,43 % | 51 | 12,08 % | 331 |
| Newsletter 2 | 44,44 % | 36 | 12,21 % | 131 |
| Newsletter 3 | 35,29 % | 34 | 6,70 % | 179 |
| Newsletter 4 | 29,55 % | 44 | 8,90 % | 146 |
| Newsletter 5 | 41,27 % | 63 | 15,95 % | 163 |
| Newsletter 6 | 62,75 % | 51 | 23,36 % | 137 |
| Newsletter 7 | 61,29 % | 31 | 14,07 % | 135 |
| Newsletter 8 | 60,87 % | 69 | 31,58 % | 133 |
| Newsletter 9 | 50,00 % | 118 | 31,38 % | 188 |
| Newsletter 10 | 59,65 % | 114 | 24,03 % | 283 |
Úplné počty níže umožňují srovnání zkontrolovat. U libovolného newsletteru sečtěte „obojí“ a „pouze investice“, abyste získali základ s investicí. Sečtěte „obojí“ a „pouze kliknutí“, abyste získali základ s kliknutím. Všechny 4 buňky dohromady dávají celkový počet záznamů daného newsletteru.
Všechny 4 výsledky v každém newsletteru
Všech 10 zdrojových newsletterů seřazených podle původních kódů.
| Zdrojový newsletter | Obojí | Pouze kliknutí | Pouze investice | Ani jedno | Všechny záznamy |
|---|---|---|---|---|---|
| Newsletter 1 | 40 | 291 | 11 | 5 238 | 5 580 |
| Newsletter 2 | 16 | 115 | 20 | 5 515 | 5 666 |
| Newsletter 3 | 12 | 167 | 22 | 5 325 | 5 526 |
| Newsletter 4 | 13 | 133 | 31 | 5 432 | 5 609 |
| Newsletter 5 | 26 | 137 | 37 | 5 377 | 5 577 |
| Newsletter 6 | 32 | 105 | 19 | 5 196 | 5 352 |
| Newsletter 7 | 19 | 116 | 12 | 5 101 | 5 248 |
| Newsletter 8 | 42 | 91 | 27 | 5 182 | 5 342 |
| Newsletter 9 | 59 | 129 | 59 | 5 182 | 5 429 |
| Newsletter 10 | 68 | 215 | 46 | 5 699 | 6 028 |
Tato variabilita neurčuje nejlepší kreativu newsletteru. Projekty se liší, stejní příjemci se mohou opakovat a nová analýza spojuje původní experimentální skupiny. Neobsahuje testy významnosti jednotlivých newsletterů ani tvrzení, že konkrétní projekt způsobil silnější překryv.
Má-li firma několik kampaní, uchovejte podrobnosti o kampaních vedle souhrnného reportu. Rozhodujete-li se, jak změnit jednu kampaň, začněte jejím vlastním řádkem a počty. Při vykazování napříč kampaněmi ponechte společnou tabulku. Nevybírejte příznivou kampaň až poté, co uvidíte její výsledek.
Co se změní, když má každý příjemce stejnou váhu?
Naše hlavní srovnání dává každému záznamu dvojice příjemce–newsletter stejnou váhu. Příjemce zastoupený v 10 newsletterech proto přispívá 10 záznamy, zatímco někdo zastoupený jednou přispívá 1. To je vhodné pro popis zveřejněných záznamů, ale není to jediný možný souhrn.
V předem stanoveném doplňkovém srovnání dáváme každému kódu příjemce celkovou váhu 1. Někdo zastoupený v 10 newsletterech přispívá 1/10 na záznam; někdo zastoupený jednou přispívá 1. Každý kód příjemce tak přispívá stejnou celkovou vahou. Vzorek se tím nestává reprezentativním pro zemi ani trh.
Při tomto vážení má 51,69 % váhy záznamů s investicí také příznak kliknutí oproti 53,52 % v hlavní analýze. Opačný podíl činí 19,12 % oproti 17,91 %. Ponecháváme oba souhrny; doplňkový má jiný popisný cíl, není opravou zvolenou proto, že jeho výsledek vyhovuje lépe.
2 způsoby vážení stejného úplného souboru
Hlavní: stejná váha na záznam dvojice příjemce–newsletter. Doplňkový: stejná celková váha na kód příjemce.
| Vážení | Kliknutí mezi investicemi | Bez kliknutí mezi investicemi | Investice mezi kliknutími | Zaznamenaná míra kliknutí | Zaznamenaná míra investic |
|---|---|---|---|---|---|
| Stejná váha záznamů (hlavní) | 53,52 % | 46,48 % | 17,91 % | 3,30 % | 1,10 % |
| Stejná váha příjemců (doplňkový) | 51,69 % | 48,31 % | 19,12 % | 4,02 % | 1,49 % |
Úplná doplňková tabulka se stejnou vahou příjemců
Každý ze 7 864 kódů příjemců přispívá napříč svými zdrojovými záznamy celkovou vahou 1.
| Zaznamenaná kombinace | Vážený součet | Podíl z celkové váhy příjemců |
|---|---|---|
| Kliknutí a investice | 60,4079 | 0,77 % |
| Pouze kliknutí | 255,5067 | 3,25 % |
| Pouze investice | 56,4627 | 0,72 % |
| Ani jeden příznak | 7 491,6226 | 95,26 % |
Vážené součty buněk obsahují zlomky, protože sčítají příspěvky jako 1/2 nebo 1/10. Jejich součet je 7 864, tedy počet kódů příjemců. Nemají se popisovat jako zlomky lidí ani jako počty jedinečných investorů, kteří provedli každou akci.[3]
Šablona pro srovnání kliknutí a výsledných akcí ve vlastním reportu
Než budete kampaň interpretovat jako konverzní trychtýř, sepište stručné zadání měření. Následující volně dostupná šablona slouží k plánování vlastních reportů. Nepředpokládá, že historický dataset používal stejné definice ani že změna měření zlepší prodej.
Rozhodnutí: „Chceme učinit [rozhodnutí o sdělení, nabídce či reportování] pro [kampaň].“ Rozhodnutí zvolte před výběrem vhodné míry.
Jednotka a základ: „1 řádek představuje [dvojici příjemce–kampaň, návštěvu nebo jinou podloženou jednotku]. Naším způsobilým základem je [definice]. Opakované události a opakovaní příjemci se řeší podle [pravidla].“ Počet událostí uchovávejte odděleně od počtu identifikátorů.
Akce: „Kliknutí znamená [konkrétní zaznamenanou událost]. Výsledná akce znamená [registraci, kvalifikovanou poptávku, dokončený nákup nebo jinou definovanou akci].“ Rozhodněte, jak se bude zacházet se zrušeními, refundacemi, testovacími událostmi a duplicitami.
Propojení a načasování: „Záznamy propojujeme pomocí [povoleného identifikátoru]. Kliknutí sledujeme během [období] a výsledné akce během [období]. Pořadí můžeme určit pomocí [dostupných časových razítek].“ Není-li propojení nebo časové razítko dostupné, uveďte to a nedoplňujte mezeru předpokládanou cestou.
Report: „Ukážeme pouze kliknutí, pouze výslednou akci, obojí a ani jedno, spolu se způsobilým základem. Podmíněná procenta budou mít pojmenovaný jmenovatel.“ Nedostupné nebo nepropojené záznamy ponechte viditelné jako samostatnou otázku reportování a neoznačujte je bez vysvětlení jako „ani jedno“.
Použití: „Tento report popisuje [pozorovaný vztah]. Abychom mohli tvrdit, že [kampaň způsobila více výsledných akcí], potřebovali bychom [vhodný návrh srovnání].“ Samotná tabulka překryvu takové kauzální srovnání neposkytuje.
Ponechte viditelné všechny 4 kombinace

Definujte společný záznam
Pojmenujte způsobilou jednotku, akce, pravidlo párování a období.
Zachovejte každou kombinaci
Ukažte obě akce, každou akci samostatně a ani jednu; nepropojené záznamy určete zvlášť.
Pojmenujte jmenovatel
Uveďte, zda procento vychází ze všech záznamů, ze záznamů s kliknutím nebo ze záznamů s výslednou akcí.
Příklad s výpočtem: tvůrce vykazuje registrace na workshop
Uvažujme fiktivního tvůrce s 1 000 způsobilými záznamy dvojic příjemce–kampaň. Předpokládejme, že jeho definovaná období a povolený postup párování vytvoří 80 záznamů s kliknutím, 30 s registrací a 18 s obojím. Jde o vymyšlené výukové hodnoty, nikoli o další výsledek crowdfundingových dat.
Úplná tabulka obsahuje 18 záznamů s obojím, 62 pouze s kliknutím, 12 pouze s registrací a 908 bez obojího. Míra kliknutí je 80 děleno 1 000, tedy 8 %. Míra registrace je 30 děleno 1 000, tedy 3 %.
Mezi záznamy s příznakem kliknutí má 18 z 80 také registraci: 22,5 %. Mezi záznamy s příznakem registrace má 18 z 30 také kliknutí: 60 %. Tvůrce může uvést všechna 4 čísla, aniž by naznačoval, že měří totéž.
Zbývajících 12 záznamů pouze s registrací si zaslouží neutrální popis, dokud tvůrce nezíská důkazy o jejich cestách. I když časová razítka určí, že kliknutí předcházelo registraci, samotné pořadí nedokazuje, že ji způsobil newsletter. Tvůrce může tabulku použít k upřesnění další otázky, aniž by ji považoval za odhad přírůstku tržeb.
Užitečné vyplněné zadání by znělo: „Popisujeme zaznamenaný překryv registrací pro tuto kampaň a tato období. Ponecháme všechny 4 kategorie, ukážeme oba podmíněné základy a samostatně vykážeme záznamy, které nedokážeme propojit.“ To je pro další kroky užitečnější než označení míry konverze, jejíž jmenovatel nikdo nedokáže určit.
Jak jsme vypočítali překryv?
Použili jsme úplný konečný dataset ve formátu Stata z veřejného vydání autorů ve verzi 1. Před výpočtem společných výsledků jsme ověřili identitu souboru, 7 požadovaných číselných polí, všech 55 357 jedinečných dvojic příjemce–newsletter, 7 864 kódů příjemců a 10 kódů newsletterů. Oba příznaky musely být přítomné a kódované přesně jako 0 nebo 100.[2]
Ověřili jsme počty ve 3 experimentálních skupinách a reprodukovali zaokrouhlená marginální procenta kliknutí a investic z článku. Žádné záznamy nebyly odstraněny, imputovány ani deduplikovány. Poté jsme spočítali všechny 4 kombinace celkově i v každém newsletteru a vypočítali stejné veličiny s předem stanoveným vážením se stejnou vahou příjemců.
2 nezávisle napsané implementace vytvořily totožné počty a přesné zlomky. Balíček ke stažení obsahuje původní výpočetní kód, metodu a všechny agregované tabulky. Neobsahuje surové záznamy ani identifikátory příjemců. Zdrojový soubor získejte samostatně od autorů a zachovejte uvedení autorství.
K tomuto úplnému přepočtu zveřejněného souboru nepřipojujeme výběrové intervaly spolehlivosti. Počty jsou pro tyto záznamy přesné, ale to neurčuje přesnost pro širší populaci. Pro zobecnění by záleželo na sdílených příjemcích a projektech; o zobecnění se tato studie nepokouší.
Praktickým přínosem je úplný zaznamenaný překryv a jasný způsob, jak položit další otázku měření. Doplňuje původní experiment autorů, nenahrazuje jej. Při rozhodování o kampani definujte výslednou akci, základ, pravidlo párování a časové období dříve, než určíte význam vykázané míry konverze.
CSV používá jazyk této stránky. Balíček obsahuje původní kód, přeloženou dokumentaci metody a agregované výsledky. Surové záznamy a identifikátory příjemců nejsou součástí; data získejte samostatně z veřejného vydání autorů.
Zdroje a poznámky
- Hornuf, Lars, a Christoph Siemroth (2023), A field experiment on attracting crowdfunders, Economics Letters 222, 110928. Oddíly 2–3 definují 10 newsletterů, jednotku pozorování a příznaky výsledků; tabulky 1–2 poskytují publikované kontrolní hodnoty kohorty a marginálních četností. Původní studie testuje účinky způsobu prezentace sdělení. Nová analýza Influence IQ popisuje společné zaznamenané výsledky.
- Hornuf a Siemroth, vydání dat ve verzi 1, 17. dubna 2023, DOI 10.17632/9prftpkdfc.1, CC BY 4.0. Analýza používá SubscriberNumber, NewsletterNumber, treatmentcontrol, treatmenteco, treatmentreturn, ClickPercent a InvestmentPercent. Identifikující popisky hodnot ani jiná pole se nepoužívají. Posouzené zdroje neurčují shodná období pozorování, pořadí událostí ani pravidla rušení.
- U příjemce zastoupeného v k zdrojových newsletterech získává každý záznam v doplňkové analýze váhu 1/k. Hlavní analýza přiřazuje každému záznamu váhu 1. Obě používají úplný zveřejněný vzorek. Zdrojové kódy příjemců umožňují seskupování; samy o sobě neosvědčují jedinečné fyzické osoby. Zlomky se počítají přesně před zaokrouhlením pro zobrazení. Všech 10 kódů newsletterů zachovává původní pořadí bez přiřazení chronologie.
Zdrojem překladu je anglická verze článku. Všechny jazykové verze popisují stejné historické německé crowdfundingové záznamy, nikoli samostatné benchmarky zemí či odvětví.