Rata de clic și rata de conversie: compară aceleași înregistrări

O reanaliză a 55.357 de înregistrări istorice de finanțare participativă arată ce se schimbă când corelezi indicatorii de clic și investiție, în loc să le citești totalurile separat.

Reanaliză originală a setului de date public despre buletinele informative bettervest, publicat de Hornuf și Siemroth în 2023.

Rezumat

O rată de clic și o rată a rezultatelor descriu acțiuni diferite. Pentru a înțelege relația dintre ele, trebuie să verifici care înregistrări le conțin pe ambele. Am reanalizat 55.357 de înregistrări destinatar–buletin informativ dintr-un experiment german de finanțare participativă publicat în 2023. Dintre cele 611 înregistrări cu indicator de investiție în proiect, 327 aveau și indicator de clic pe buletinul informativ: 53,52 %. Celelalte 284, adică 46,48 %, nu îl aveau.

Rezultatul le oferă afacerilor și creatorilor un motiv concret să examineze suprapunerea din spatele unui raport de campanie. Nu arată că urmărirea a eșuat sau că e-mailul a cauzat o investiție. Înregistrările publicate nu stabilesc ordinea evenimentelor sau o fereastră comună de măsurare. Prezentăm comparația completă cu 4 combinații, toate cele 10 buletine informative și un model pentru definirea măsurării proprii a unei afaceri pe baza înregistrărilor corelate, înainte de a interpreta o pâlnie de conversie.

Imaginează-ți un creator care examinează lansarea unui atelier. Un raport arată clicurile pe buletinul informativ. Altul arată înscrierile. Ambele totaluri sunt reale, dar alăturarea lor nu îi spune creatorului câte înscrieri le aparțin persoanelor care au dat clic.

Calculul care lipsește este suprapunerea. Poate fi mică sau mare, iar cele 2 totaluri principale nu o determină. Un set de date public despre finanțarea participativă ne permite să demonstrăm calculul folosind înregistrări reale, păstrând întrebarea practică separată de afirmațiile pe care datele nu le pot susține.

2 totaluri au nevoie de o legătură

Plicuri cu cursoare și simboluri bifate ale rezultatelor ocupă 2 zone colorate care se suprapun. Perechile se află în zona de suprapunere, iar forme neutre în afara ambelor zone.
Ilustrație conceptuală a suprapunerii acțiunilor înregistrate. Obiectele și cantitățile lor sunt ilustrative; tabelele de date conțin numerele măsurate în studiu.

Care este diferența dintre rata de clic și rata de conversie?

O rată de clic raportează clicurile la o oportunitate de clic precizată. O rată de conversie raportează un rezultat definit la o bază precizată. Baza poate însemna afișări ale reclamei, mesaje livrate, vizite, persoane care au dat clic sau alt grup eligibil, în funcție de raport. O comparație utilă începe prin precizarea atât a acțiunii, cât și a numitorului ei.

De exemplu, „înscrieri dintre persoanele care au dat clic” pune o altă întrebare decât „înscrieri dintre toți cei cărora li s-a trimis un mesaj”. Un raport poate folosi oricare definiție, dar eticheta trebuie să îi spună cititorului pe care o folosește. Un clic diferă și de o persoană unică ce a dat clic; evenimentele repetate pot schimba totalul.

În acest studiu, baza comună este o înregistrare destinatar–buletin informativ din setul de date publicat. Numărăm înregistrările în funcție de prezența unui indicator de clic și a unui indicator de investiție. Nu avem un numitor al mesajelor livrate sau o succesiune cu marcaje temporale, așa că le numim rate înregistrate și proporții de suprapunere.

Această distincție este utilă când o afacere decide dacă să își schimbe mesajul, oferta sau măsurarea. 2 totaluri separate nu pot identifica punctul în care s-a oprit o persoană. Corelarea înregistrărilor eligibile este un pas spre a răspunde acestei întrebări; stabilirea ordinii și momentelor evenimentelor este altul.

Ce a măsurat setul de date despre finanțarea participativă?

Cercetătorii Lars Hornuf și Christoph Siemroth au lucrat cu bettervest, o platformă germană de finanțare participativă prin împrumuturi. Experimentul lor a comparat moduri diferite de a descrie 10 proiecte de investiții în buletine informative. Setul de date publicat conține 55.357 de înregistrări destinatar–buletin informativ și 7.864 de coduri de destinatar. Un destinatar poate apărea în până la 10 buletine informative.[1][2]

Autorii au înregistrat dacă destinatarul a dat clic pe un link unic al proiectului dintr-un buletin informativ și dacă acel destinatar a investit o sumă pozitivă în proiect. Fiecare rezultat este stocat ca indicator de tip da sau nu. Un indicator de investiție nu este un număr de tranzacții, o valoare de cumpărare sau o măsură a vânzărilor finalizate în comerțul electronic.

Lucrarea inițială examinează efectele modului de prezentare a buletinelor informative. Reanaliza noastră pune o altă întrebare: cât de mult se suprapun cele 2 rezultate înregistrate pentru același destinatar și același buletin informativ? Combinăm toate cele 3 grupuri de tratament inițiale și păstrăm întregul eșantion publicat. Nu reestimăm efectele modului de prezentare.

Acestea sunt înregistrări istorice de la o anumită platformă de finanțare participativă, publicate în 2023. Materialele examinate nu stabilesc o fereastră comună de observare sau ordinea clicurilor și investițiilor. Prin urmare, studiul oferă un exemplu de măsurare, nu un reper actual pentru rata de conversie a marketingului prin e-mail.

Cât de des au apărut împreună un clic și o investiție?

Un clic și o investiție înregistrate apar împreună în 327 dintre cele 55.357 de înregistrări. Alte 1.499 de înregistrări au un clic fără indicator de investiție, 284 au o investiție fără indicator de clic, iar 53.247 nu au niciunul. Tabelul păstrează vizibile toate cele 4 posibilități.

În întregul fișier, 1.826 de înregistrări au un indicator de clic, adică 3,30 %. În total, 611 au un indicator de investiție, adică 1,10 %. Acestea sunt cele 2 rate marginale. Ele arată cât de frecvent este fiecare indicator, dar nu cât de des apar indicatorii în aceleași înregistrări.

Suprapunerea completă dintre clicuri și investiții

Toate cele 55.357 de înregistrări destinatar–buletin informativ din versiunea istorică bettervest, publicată în 2023.

Suprapunerea completă dintre clicuri și investiții
Combinație înregistratăÎnregistrăriProporția din toate înregistrările
Clic și investiție3270,59 %
Doar clic1.4992,71 %
Doar investiție2840,51 %
Niciun indicator53.24796,19 %
Fiecare înregistrare are aceeași pondere. Un indicator denotă o acțiune înregistrată, nu ordinea sau cauza ei. Categoriile sunt exhaustive și se exclud reciproc.

Dintre cele 611 înregistrări cu indicator de investiție, 327 au și indicator de clic. Asta înseamnă 53,52 %; restul de 46,48 % nu au un clic înregistrat. Inversează întrebarea și se schimbă numitorul: dintre cele 1.826 de înregistrări cu indicator de clic, 327 au și indicator de investiție, adică 17,91 %.

Ambele procente sunt corecte, deoarece răspund unor întrebări diferite. Primul pornește de la înregistrările cu investiție și întreabă despre clicuri. Al doilea pornește de la înregistrările cu clic și întreabă despre investiții. Niciunul nu trebuie prezentat ca probabilitate ca un clic să fi dus la o investiție ulterioară.

Răspunsul se schimbă în funcție de grupul de pornire

Înregistrări istorice din sursă: 611 indicatori de investiție și 1.826 de indicatori de clic.

Răspunsul se schimbă în funcție de grupul de pornire
ÎntrebareÎnregistrări care corespund condițieiÎnregistrări din bazăProporția din baza precizată
Înregistrări cu investiție care au și clic32761153,52 %
Înregistrări cu investiție fără clic28461146,48 %
Înregistrări cu clic care au și investiție3271.82617,91 %
Fiecare procent își precizează baza. Acestea sunt suprapuneri înregistrate, nu probabilități ale unei acțiuni ulterioare sau conversii atribuite. Primele 2 rânduri folosesc ca numitor aceleași 611 înregistrări.

O înregistrare care conține doar investiție nu își explică propriul istoric. Nu ne poate spune că o persoană a ocolit buletinul informativ, că un sistem de urmărire a omis un eveniment sau că alt canal a cauzat investiția. Aceste explicații ar necesita dovezi despre colectare, momente și alte activități, pe care această versiune publicată nu le oferă.

Pentru responsabilul unei campanii, implicația imediată este mai restrânsă și practică: păstrează numărul înregistrărilor în care apar ambele acțiuni alături de totalurile separate. Când întrebarea afacerii privește persoanele care au făcut ambele acțiuni, acea intersecție face parte din răspuns. Un raport calculat din 2 totaluri necorelate nu o poate înlocui.

Suprapunerea arată la fel în fiecare buletin informativ?

Suprapunerea variază între cele 10 buletine informative din sursă. Dintre înregistrările cu indicator de investiție, proporția celor care au și indicator de clic variază de la 29,55 % la 78,43 %. Arătăm fiecare buletin informativ, astfel încât niciuna dintre limitele intervalului să nu țină locul întregului studiu.

Numerele buletinelor informative de mai jos sunt coduri din sursă, nu o succesiune temporală sau un clasament. Cea mai mică bază de înregistrări cu investiție este de 31 de înregistrări, iar cea mai mare de 118. Un procent mare calculat dintr-o bază mică trebuie să rămână alături de acea bază atunci când rezultatul este citat.

Ambele direcții ale suprapunerii, cu bazele lor

Toate cele 10 buletine informative istorice; numerele complete care stau la bază apar în tabelul următor.

Ambele direcții ale suprapunerii, cu bazele lor
Buletin informativ din sursăÎnregistrări cu clic dintre cele cu investițieÎnregistrări cu investițieÎnregistrări cu investiție dintre cele cu clicÎnregistrări cu clic
Buletin informativ 178,43 %5112,08 %331
Buletin informativ 244,44 %3612,21 %131
Buletin informativ 335,29 %346,70 %179
Buletin informativ 429,55 %448,90 %146
Buletin informativ 541,27 %6315,95 %163
Buletin informativ 662,75 %5123,36 %137
Buletin informativ 761,29 %3114,07 %135
Buletin informativ 860,87 %6931,58 %133
Buletin informativ 950,00 %11831,38 %188
Buletin informativ 1059,65 %11424,03 %283
Prima proporție se calculează împărțind numărul înregistrărilor cu ambii indicatori la numărul înregistrărilor cu investiție. A doua se calculează împărțind numărul înregistrărilor cu ambii indicatori la numărul înregistrărilor cu clic. Doar diferențe descriptive; fără afirmații despre cel mai bun buletin informativ sau despre semnificația statistică.

Numerele complete de mai jos permit verificarea comparației. Pentru orice buletin informativ, adună „ambele” și „doar investiție” pentru a obține baza sa de înregistrări cu investiție. Adună „ambele” și „doar clic” pentru a obține baza sa de înregistrări cu clic. Toate cele 4 celule însumate dau totalul acelui buletin informativ.

Toate cele 4 rezultate din fiecare buletin informativ

Toate cele 10 buletine informative din sursă, sortate după codurile lor originale.

Toate cele 4 rezultate din fiecare buletin informativ
Buletin informativ din sursăAmbeleDoar clicDoar investițieNiciunaToate înregistrările
Buletin informativ 140291115.2385.580
Buletin informativ 216115205.5155.666
Buletin informativ 312167225.3255.526
Buletin informativ 413133315.4325.609
Buletin informativ 526137375.3775.577
Buletin informativ 632105195.1965.352
Buletin informativ 719116125.1015.248
Buletin informativ 84291275.1825.342
Buletin informativ 959129595.1825.429
Buletin informativ 1068215465.6996.028
Codurile nu indică o cronologie sau un clasament al performanței. Cele 4 numere corespunzătoare rezultatelor din fiecare rând dau, însumate, totalul său; destinatarii pot apărea în buletine informative diferite.

Această variație nu identifică cel mai bun conținut al unui buletin informativ. Proiectele diferă, aceiași destinatari pot reapărea, iar noua analiză combină grupurile de tratament inițiale. Nu există teste de semnificație pentru fiecare buletin informativ sau afirmații că un anumit proiect a cauzat o suprapunere mai mare.

Pentru o afacere cu mai multe campanii, păstrează detaliile campaniilor alături de raportul combinat. Dacă decizi cum să schimbi o campanie, începe cu rândul și numerele ei. Păstrează tabelul combinat când raportezi pentru mai multe campanii. Nu selecta o campanie favorabilă după ce îi vezi rezultatul.

Ce se schimbă când fiecare destinatar primește aceeași pondere?

Comparația noastră principală acordă fiecărei înregistrări destinatar–buletin informativ aceeași pondere. Prin urmare, un destinatar reprezentat în 10 buletine informative contribuie cu 10 înregistrări, iar cineva reprezentat o singură dată contribuie cu 1. Acest lucru este potrivit pentru descrierea înregistrărilor publicate, dar nu este singurul rezumat posibil.

Ca o comparație secundară prestabilită, acordăm fiecărui cod de destinatar o pondere totală de 1. Cineva care apare în 10 buletine informative contribuie cu 1/10 pentru fiecare înregistrare; cineva care apare o singură dată contribuie cu 1. Fiecare cod de destinatar contribuie astfel cu aceeași pondere totală. Acest lucru nu face eșantionul reprezentativ pentru o țară sau o piață.

Cu această ponderare, 51,69 % din suma ponderilor înregistrărilor cu investiție corespunde și unui indicator de clic, față de 53,52 % în analiza principală. Proporția ponderată cu investiție dintre înregistrările cu clic este de 19,12 %, față de 17,91 %. Păstrăm ambele rezumate; cel secundar urmărește o altă mărime descriptivă, nu este o corecție aleasă fiindcă rezultatul său este preferabil.

2 moduri de a pondera același fișier complet

Principală: aceeași pondere pe înregistrare destinatar–buletin informativ. Secundară: aceeași pondere totală pe cod de destinatar.

2 moduri de a pondera același fișier complet
PonderareÎnregistrări cu clic dintre cele cu investițieÎnregistrări fără clic dintre cele cu investițieÎnregistrări cu investiție dintre cele cu clicRata de clic înregistratăRata de investiție înregistrată
Ponderi egale pe înregistrare (principală)53,52 %46,48 %17,91 %3,30 %1,10 %
Ponderi egale pe destinatar (secundară)51,69 %48,31 %19,12 %4,02 %1,49 %
Primele 3 coloane folosesc baza precizată de înregistrări cu rezultat. Ultimele 2 folosesc toate înregistrările sau întreaga pondere a destinatarilor. Procentele secundare folosesc sume ponderate; nu sunt medii ale ratelor individuale ale destinatarilor. Fără inferențe despre populație.

Tabelul secundar complet cu ponderi egale pe destinatar

Fiecare dintre cele 7.864 de coduri de destinatar contribuie cu o pondere totală de 1 în toate înregistrările sale din sursă.

Tabelul secundar complet cu ponderi egale pe destinatar
Combinație înregistratăTotal ponderatProporția din ponderea totală a destinatarilor
Clic și investiție60,40790,77 %
Doar clic255,50673,25 %
Doar investiție56,46270,72 %
Niciun indicator7.491,622695,26 %
Totalurile ponderate sunt sume de contribuții de 1/k, nu numere de persoane unice care fac fiecare acțiune. Suma lor este 7.864 înainte de rotunjire. Acest rezumat urmărește o altă mărime descriptivă și păstrează fiecare înregistrare din sursă.

Totalurile ponderate ale celulelor includ fracții, deoarece adună contribuții precum 1/2 sau 1/10. Suma lor este 7.864, numărul codurilor de destinatar. Nu trebuie descrise ca fracțiuni de persoane sau ca numere de investitori unici care au făcut fiecare acțiune.[3]

Un model pentru compararea clicurilor și rezultatelor în propriul raport

Înainte de a interpreta o campanie ca pâlnie de conversie, scrie o scurtă descriere a măsurării. Modelul următor, disponibil fără restricții de acces, este pentru planificarea propriilor rapoarte. Nu presupune că acest set de date istoric a folosit aceleași definiții sau că schimbarea măsurării va îmbunătăți vânzările.

Decizie: „Vrem să luăm [decizia privind mesajul, oferta sau raportarea] pentru [campanie].” Alege decizia înainte să selectezi o rată convenabilă.

Unitate și bază: „1 rând reprezintă [destinatar–campanie, vizită sau altă unitate susținută de date]. Baza noastră eligibilă este [definiție]. Evenimentele repetate și destinatarii repetați sunt tratați prin [regulă].” Păstrează separat numărul de evenimente și numărul de identificatori.

Acțiuni: „Un clic înseamnă [eveniment înregistrat specific]. Un rezultat înseamnă [înscriere, solicitare calificată, cumpărare finalizată sau altă acțiune definită].” Decide cum vor fi tratate anulările, rambursările, evenimentele de test și duplicatele.

Corelare și momente: „Corelăm înregistrările folosind [identificator permis]. Observăm clicurile în [fereastră], iar rezultatele în [fereastră]. Putem stabili ordinea folosind [marcaje temporale disponibile].” Dacă o corelare sau un marcaj temporal nu este disponibil, precizează acest lucru în loc să umpli golul cu un parcurs presupus.

Raport: „Vom arăta doar clic, doar rezultat, ambele și niciuna, plus baza eligibilă. Procentele condiționate vor preciza numitorul lor.” Păstrează înregistrările indisponibile sau necorelate vizibile ca problemă distinctă de raportare, în loc să le numești tacit „niciuna”.

Utilizare: „Acest raport descrie [relație observată]. Pentru a afirma [o campanie a cauzat mai multe rezultate], am avea nevoie de [un plan de comparație adecvat].” Tabelul suprapunerii nu oferă el însuși acea comparație cauzală.

Păstrează vizibile toate cele 4 combinații

4 tăvi egale prezintă, pe rând, atât un plic cu cursor, cât și un simbol bifat al rezultatului, doar plicul, doar simbolul rezultatului și o tavă goală. O tavă separată, mai mică, conține 2 fișe de înregistrări necorelate.
  1. Definește aceeași înregistrare

    Precizează unitatea eligibilă, acțiunile, regula de corelare și ferestrele de observare.

  2. Păstrează fiecare combinație

    Arată ambele acțiuni, fiecare acțiune separat și niciuna; identifică separat înregistrările necorelate.

  3. Precizează numitorul

    Precizează dacă un procent pornește de la toate înregistrările, de la cele cu clic sau de la cele cu rezultat.

Ilustrație conceptuală pentru planificarea unui raport. Nu reprezintă o succesiune de evenimente sau proporțiile studiului. Înregistrările necorelate necesită tratare separată într-un sistem real de raportare.

Un exemplu detaliat: un creator raportează înscrierile la un atelier

Să luăm un creator fictiv cu 1.000 de înregistrări eligibile destinatar–campanie. Să presupunem că ferestrele definite de creator și procesul permis de corelare produc 80 de înregistrări cu clic, 30 cu înscriere și 18 cu ambele. Acestea sunt valori inventate pentru explicație, nu alt rezultat din datele despre finanțarea participativă.

Tabelul complet conține 18 cu ambele, 62 doar cu clic, 12 doar cu înscriere și 908 fără niciuna. Rata de clic este 80 împărțit la 1.000, adică 8 %. Rata de înscriere este 30 împărțit la 1.000, adică 3 %.

Dintre înregistrările cu indicator de clic, 18 din 80 au și o înscriere: 22,5 %. Dintre înregistrările cu indicator de înscriere, 18 din 30 au și un clic: 60 %. Creatorul poate raporta toate cele 4 numere fără să sugereze că măsoară același lucru.

Cele 12 înregistrări doar cu înscriere merită o descriere neutră până când creatorul are dovezi despre parcursurile lor. Chiar și când marcajele temporale stabilesc că un clic a precedat o înscriere, ordinea singură nu dovedește că buletinul informativ a cauzat-o. Creatorul poate folosi tabelul pentru a preciza întrebarea următoare fără să îl trateze ca pe o estimare a creșterii veniturilor.

O descriere completată utilă ar spune: „Descriem suprapunerea înscrierilor înregistrate pentru această campanie și aceste ferestre. Vom păstra toate cele 4 categorii, vom arăta ambele baze condiționate și vom raporta separat înregistrările pe care nu le putem corela.” Asta ajută mai mult la luarea unei decizii decât o etichetă de rată de conversie al cărei numitor nu îl poate identifica nimeni.

Cum a calculat Influence IQ suprapunerea?

Am folosit setul de date Stata final complet din versiunea 1 publicată de autori. Înainte de a calcula rezultatele comune, am verificat identitatea fișierului, cele 7 câmpuri numerice necesare, toate cele 55.357 de perechi unice destinatar–buletin informativ, 7.864 de coduri de destinatar și 10 coduri de buletin informativ. Ambii indicatori trebuiau să fie prezenți și codificați exact ca 0 sau 100.[2]

Am verificat numerele celor 3 grupuri de tratament și am reprodus procentele marginale rotunjite de clic și investiție din lucrare. Nicio înregistrare nu a fost eliminată, imputată sau deduplicată. Apoi am numărat toate cele 4 combinații în ansamblu și în fiecare buletin informativ și am calculat aceleași cantități folosind ponderarea prestabilită cu ponderi egale pe destinatar.

2 implementări scrise independent au produs aceleași numere și aceleași fracții exacte. Pachetul descărcabil conține cod de calcul original, metoda și toate tabelele agregate. Exclude înregistrările brute și identificatorii destinatarilor. Obține fișierul sursă separat de la autori și păstrează atribuirea lor.

Nu atașăm intervale de încredere pentru eșantionare acestei enumerări a fișierului publicat. Numerele sunt exacte pentru acele înregistrări, dar acest lucru nu stabilește precizia pentru o populație mai largă. Destinatarii și proiectele comune ar conta pentru generalizare, pe care acest studiu nu o încearcă.

Contribuția practică este suprapunerea completă înregistrată și un mod clar de a formula următoarea întrebare de măsurare. Aceasta completează experimentul inițial al autorilor, fără să îl înlocuiască. Pentru deciziile de campanie, definește rezultatul, baza, regula de corelare și fereastra de timp înainte să decizi ce înseamnă o rată de conversie raportată.

Fișierul CSV folosește limba acestei pagini. Pachetul conține cod original, documentația tradusă a metodei și rezultate agregate. Înregistrările brute și identificatorii destinatarilor sunt excluși; obține separat datele din versiunea publicată de autori.

Surse și note

  1. Hornuf, Lars, și Christoph Siemroth (2023), A field experiment on attracting crowdfunders, Economics Letters 222, 110928. Secțiunile 2–3 definesc cele 10 buletine informative, unitatea de observare și indicatorii rezultatelor; tabelele 1–2 oferă controale publicate pentru cohortă și proporțiile marginale. Studiul inițial testează efectele modului de prezentare a mesajelor. Noua analiză Influence IQ descrie rezultatele înregistrate împreună.
  2. Hornuf și Siemroth, versiunea 1 a setului de date publicat, 17 aprilie 2023, DOI 10.17632/9prftpkdfc.1, CC BY 4.0. Analiza folosește SubscriberNumber, NewsletterNumber, treatmentcontrol, treatmenteco, treatmentreturn, ClickPercent și InvestmentPercent. Nu sunt folosite etichetele valorilor cu rol de identificare și nici celelalte câmpuri. Sursele examinate nu stabilesc ferestre de observare aliniate, ordinea evenimentelor sau regulile de anulare.
  3. Pentru un destinatar care apare în k buletine informative din sursă, fiecare înregistrare primește o pondere de 1/k în analiza secundară. Analiza principală atribuie fiecărei înregistrări ponderea 1. Ambele folosesc eșantionul complet publicat. Codurile destinatarilor din sursă permit gruparea; ele nu certifică independent persoane fizice unice. Fracțiile sunt calculate exact înainte de rotunjirea pentru afișare. Toate cele 10 coduri ale buletinelor informative își păstrează ordinea din sursă, fără a li se atribui o cronologie.

Acest articol în engleză este versiunea sursă. Toate versiunile lingvistice descriu aceleași înregistrări istorice germane de finanțare participativă, nu repere separate pentru țări sau industrii.

Cercetări Influence IQ conexe