Click-through rate at conversion rate: ihambing ang parehong mga tala

Iniuulat ng click-through rate ang mga click kumpara sa itinakdang pagkakataong makapag-click. Iniuulat naman ng conversion rate ang isang tinukoy na kinalabasan kumpara sa itinakdang batayan. Depende sa ulat, maaaring ang batayan ay mga ad impression, naihatid na mensahe, pagbisita, taong nag-click, o iba pang kuwalipikadong grupo. Nagsisimula ang kapaki-pakinabang na paghahambing sa pagtukoy sa aksiyon at denominator nito.

Halimbawa, iba ang tanong na “mga nagparehistro sa mga taong nag-click” sa “mga nagparehistro sa lahat ng pinadalhan ng mensahe”. Maaaring gamitin ng ulat ang alinman, pero kailangang malinaw sa label kung aling kahulugan ang gamit. Iba rin ang bilang ng click sa bilang ng magkakaibang taong nag-click; maaaring baguhin ng paulit-ulit na pangyayari ang kabuuan.

Sa pag-aaral na ito, ang iisang batayan ay tala ng tatanggap–newsletter sa inilabas na dataset. Binibilang namin kung may marka ng click at kung may marka ng investment ang tala. Wala kaming denominator ng naihatid na mensahe o pagkakasunod-sunod ng pangyayaring may timestamp. Kaya tinatawag namin ang mga ito na rate ng naitalang aksiyon at bahaging may parehong marka.

Mahalaga ang pagkakaibang ito kapag nagpapasya ang negosyo kung babaguhin ang mensahe, alok, o pagsukat. Hindi matutukoy ng dalawang hiwalay na kabuuan kung saan huminto ang isang tao. Isang hakbang tungo sa pagsagot niyon ang pag-uugnay ng kuwalipikadong mga tala; isa pang hakbang ang pagtiyak sa pagkakasunod-sunod at oras ng mga pangyayari.

Nakipagtulungan ang mga mananaliksik na sina Lars Hornuf at Christoph Siemroth sa bettervest, isang platform ng crowdfunding na nakabatay sa utang sa Germany. Inihambing ng kanilang eksperimento ang iba-ibang paraan ng paglalarawan sa sampung proyektong pamumuhunan sa mga newsletter. May 55,357 tala ng tatanggap–newsletter at 7,864 code ng tatanggap ang inilabas na dataset. Maaaring lumitaw ang isang tatanggap sa hanggang sampung newsletter.^[1][2]

Itinala ng mga may-akda kung nag-click ang tatanggap sa natatanging link ng proyekto sa newsletter at kung namuhunan ang tatanggap ng halagang higit sa zero sa proyektong iyon. Bawat kinalabasan ay nakaimbak bilang markang oo o hindi. Ang marka ng investment ay hindi bilang ng transaksiyon, halaga ng pagbili, o sukatan ng natapos na benta sa ecommerce.

Sinusuri ng orihinal na papel ang epekto ng paraan ng paglalahad ng mensahe sa newsletter. Iba ang tanong sa aming muling pagsusuri: gaano kadalas magkasama ang dalawang naitalang kinalabasan para sa parehong tatanggap at newsletter? Pinagsasama namin ang tatlong orihinal na treatment group at pinananatili ang buong inilabas na sample. Hindi namin muling tinataya ang epekto ng paglalahad ng mensahe.

Mga naunang tala ito mula sa isang partikular na platform ng crowdfunding, na inilabas noong 2023. Hindi itinatakda ng mga sinuring materyal ang iisang panahon ng pagmamasid o pagkakasunod ng click at investment. Kaya halimbawa ito ng pagsukat, hindi kasalukuyang benchmark ng conversion rate sa email marketing.

Magkasamang naitala ang click at investment sa 327 sa 55,357 tala. May 1,499 pang tala na may click pero walang marka ng investment, 284 na may investment pero walang marka ng click, at 53,247 na walang alinman. Makikita sa talahanayan ang lahat ng apat na posibilidad.

Sa buong file, 1,826 na tala ang may marka ng click, o 3.30%. May 611 na may marka ng investment, o 1.10%. Iyan ang dalawang marginal rate. Sinasabi ng mga iyon kung gaano kadalas makita ang bawat marka, pero hindi kung gaano kadalas silang nasa parehong tala.

Sa 611 talang may marka ng investment, 327 ang mayroon ding marka ng click. Iyon ay 53.52%; walang naitalang click ang natitirang 46.48%. Kapag binaligtad ang tanong, nagbabago ang denominator: sa 1,826 talang may marka ng click, 327 ang mayroon ding marka ng investment, o 17.91%.

Tama ang dalawang porsiyento dahil magkaibang tanong ang sinasagot nila. Nagsisimula ang una sa mga tala ng investment at nagtatanong tungkol sa click. Nagsisimula ang ikalawa sa mga tala ng click at nagtatanong tungkol sa investment. Hindi dapat ilahad ang alinman bilang posibilidad na nagbunga ang click ng investment sa kalaunan.

Hindi naipapaliwanag ng talang investment lamang ang sariling kasaysayan nito. Hindi nito masasabi na nilaktawan ng tao ang newsletter, may hindi nakuha ang tracker, o ibang channel ang nagdulot ng investment. Kakailanganin ng mga paliwanag na iyon ang ebidensiya tungkol sa pangongolekta, oras, at iba pang aktibidad na wala sa inilabas na data.

Para sa nangangasiwa ng kampanya, mas tiyak at praktikal ang agarang implikasyon: ipakita ang bilang ng magkatugmang tala kasama ng magkahiwalay na kabuuan. Kung ang tanong ng negosyo ay tungkol sa mga taong gumawa ng parehong aksiyon, bahagi ng sagot ang pagsasabay na iyon. Hindi kapalit nito ang ratio mula sa dalawang kabuuang hindi pinagtugma.

Nag-iiba ang pagsasabay ng mga marka sa sampung newsletter ng source. Sa mga talang may marka ng investment, 29.55% hanggang 78.43% ang mayroon ding marka ng click. Ipinapakita namin ang bawat newsletter para hindi kumatawan sa buong pag-aaral ang alinmang dulo ng saklaw.

Mga code mula sa source ang numero ng newsletter sa ibaba, hindi pagkakasunod-sunod sa panahon o ranggo. Ang pinakamaliit na batayan ng investment ay 31 tala at ang pinakamalaki ay 118. Kapag sinipi ang resulta, kailangang kasama pa rin ang batayang bilang kung mataas ang porsiyento pero maliit ang pinanggalingang grupo.

Dahil kumpleto ang mga bilang sa ibaba, masusuri ang paghahambing. Para sa bawat newsletter, pagsamahin ang “pareho” at “investment lamang” para makuha ang batayan ng investment. Pagsamahin ang “pareho” at “click lamang” para makuha ang batayan ng click. Ang suma ng apat na cell ang kabuuan ng newsletter na iyon.

Hindi tinutukoy ng pagkakaibang ito kung alin ang pinakamagandang creative ng newsletter. Magkakaiba ang mga proyekto, maaaring maulit ang mga tatanggap, at pinagsasama ng bagong pagsusuri ang mga orihinal na treatment group. Walang significance test para sa bawat newsletter o pahayag na may partikular na proyektong nagdulot ng mas malaking pagsasabay.

Para sa negosyong may ilang kampanya, panatilihin ang detalye ng bawat kampanya kasama ng pinagsamang ulat. Kung magpapasya kung paano babaguhin ang isang kampanya, magsimula sa sarili nitong row at mga bilang. Panatilihin ang pinagsamang talahanayan kapag nag-uulat para sa lahat ng kampanya. Huwag piliin ang kampanyang paborable ang resulta matapos itong makita.

Pantay ang bigat ng bawat tala ng tatanggap–newsletter sa pangunahing paghahambing. Kaya sampung tala ang ambag ng tatanggap na kasama sa sampung newsletter, samantalang isa ang ambag ng lumilitaw nang isang beses. Angkop ito sa paglalarawan ng inilabas na mga tala, pero hindi ito ang tanging posibleng buod.

Bilang paunang itinakdang pangalawang paghahambing, binibigyan namin ang bawat code ng tatanggap ng kabuuang bigat na isa. Ang lumilitaw sa sampung newsletter ay may ambag na isang ikasampu sa bawat tala; ang lumilitaw nang isang beses ay may ambag na isa. Kaya pareho ang kabuuang bigat na iniaambag ng bawat code ng tatanggap. Hindi nito ginagawang kinatawan ng isang bansa o merkado ang sample.

Sa ganitong pagtitimbang, 51.69% ng bigat ng investment ang mayroon ding marka ng click, kumpara sa 53.52% sa pangunahing pagsusuri. Ang bahagdan sa kabilang direksiyon ay 19.12%, kumpara sa 17.91%. Pinananatili namin ang dalawang buod. Ibang bagay ang inilalarawan ng pangalawang buod; hindi ito pagwawastong pinili dahil mas paborable ang resulta.

May mga fraction sa mga kabuuang may timbang dahil pinagsasama ang mga ambag na tulad ng kalahati o isang ikasampu. Ang suma nila ay 7,864, ang bilang ng mga code ng tatanggap. Hindi dapat tawaging bahagi ng tao ang mga ito o bilang ng magkakaibang investor na gumawa ng bawat aksiyon.^[3]

Bago unawain ang kampanya bilang funnel, sumulat ng maikling plano sa pagsukat. Puwedeng gamitin agad ang template sa ibaba para planuhin ang sarili mong pag-uulat. Hindi nito ipinagpapalagay na kapareho ng mga depinisyon ang ginamit sa naunang dataset, o na tataas ang benta sa pagbabago ng pagsukat.

Pasya: “Gusto naming magpasya tungkol sa [mensahe, alok, o pag-uulat] para sa [kampanya].” Piliin muna ang pagpapasyahan bago pumili ng rate na madaling gamitin.

Yunit at batayan: “Kumakatawan ang isang row sa [tatanggap–kampanya, pagbisita, o iba pang yunit na sinusuportahan ng data]. Ang kuwalipikadong batayan namin ay [depinisyon]. Hinahawakan ang paulit-ulit na pangyayari at tatanggap ayon sa [panuntunan].” Ihiwalay ang bilang ng mga pangyayari sa bilang ng mga identifier.

Mga aksiyon: “Ang click ay [partikular na naitalang pangyayari]. Ang kinalabasan ay [pagpaparehistro, inquiry na pasok sa itinakdang pamantayan, natapos na pagbili, o ibang tinukoy na aksiyon].” Itakda kung paano hahawakan ang mga pagkansela, refund, test event, at duplicate.

Pag-uugnay at oras: “Ikinokonekta namin ang mga tala gamit ang [pinahihintulutang identifier]. Tinitingnan namin ang mga click sa [saklaw ng panahon] at mga kinalabasan sa [saklaw ng panahon]. Matutukoy namin ang pagkakasunod gamit ang [mga available na timestamp].” Kung walang pang-ugnay o timestamp, sabihin iyon sa halip na punan ang puwang ng ipinagpalagay na journey.

Ulat: “Ipapakita namin ang click lamang, kinalabasan lamang, pareho, at wala sa dalawa, kasama ang kuwalipikadong batayan. Pangangalanan ng mga conditional percentage ang kanilang denominator.” Panatilihing nakikita ang mga talang wala o hindi maiugnay bilang hiwalay na usapin sa pag-uulat, sa halip na tahimik na tawaging “wala sa dalawa”.

Paggamit: “Inilalarawan ng ulat na ito ang [naobserbahang ugnayan]. Para sabihing [ang kampanya ang nagdulot ng mas maraming kinalabasan], kailangan namin ng [angkop na disenyo ng paghahambing].” Hindi ibinibigay ng talahanayan ng pagsasabay ang paghahambing na iyon tungkol sa sanhi.

Isipin ang isang kathang-isip na creator na may 1,000 kuwalipikadong tala ng tatanggap–kampanya. Ipagpalagay na sa mga itinakdang saklaw ng panahon at pinahihintulutang proseso ng pagtutugma, may 80 talang may click, 30 na may pagpaparehistro, at 18 na may pareho. Mga numerong ginawa ito para magturo, hindi isa pang resulta mula sa data ng crowdfunding.

May 18 na may pareho sa kumpletong talahanayan, 62 na may click lamang, 12 na may pagpaparehistro lamang, at 908 na wala sa dalawa. Ang click rate ay 80 na hinati sa 1,000, o 8%. Ang registration rate ay 30 na hinati sa 1,000, o 3%.

Sa mga talang may marka ng click, 18 sa 80 ang mayroon ding pagpaparehistro: 22.5%. Sa mga talang may marka ng pagpaparehistro, 18 sa 30 ang mayroon ding click: 60%. Maaaring iulat ng creator ang apat na bilang nang hindi ipinahihiwatig na iisang bagay ang sinusukat nila.

Nararapat sa 12 talang pagpaparehistro lamang ang neutral na paglalarawan hanggang may ebidensiya ang creator tungkol sa mga dinaanan nila. Kahit itinatatag ng mga timestamp na nauna ang click sa pagpaparehistro, hindi sapat ang pagkakasunod para patunayang newsletter ang sanhi nito. Magagamit ng creator ang talahanayan para tukuyin ang susunod na tanong nang hindi ito itinuturing na pagtataya ng pagtaas ng kita.

Maaaring ganito ang kapaki-pakinabang na napunang plano: “Inilalarawan namin ang pagsasabay ng naitalang pagpaparehistro para sa kampanyang ito at sa mga saklaw na ito. Pananatilihin namin ang apat na kategorya, ipapakita ang dalawang conditional na batayan, at hiwalay na iuulat ang mga talang hindi mapagtugma.” Mas magagamit iyon sa pagpapasya kaysa sa label na conversion rate na walang nakaaalam ng denominator.

Ginamit namin ang buong pinal na Stata dataset mula sa unang bersiyon ng pampublikong release ng mga may-akda. Bago kalkulahin ang magkasamang kinalabasan, sinuri namin ang pagkakakilanlan ng file, pitong kinakailangang numeric field, lahat ng 55,357 natatanging pares ng tatanggap–newsletter, 7,864 code ng tatanggap, at sampung code ng newsletter. Kailangang naroon ang parehong marka at eksaktong zero o 100 ang code.^[2]

Sinuri namin ang bilang ng tatlong treatment group at naulit ang mga ni-round na marginal percentage ng click at investment sa papel. Walang talang inalis, pinunan sa pamamagitan ng imputation, o tinanggal bilang duplicate. Pagkatapos, binilang namin ang apat na kombinasyon sa kabuuan at sa bawat newsletter, at kinalkula ang parehong mga sukatan gamit ang itinakdang pantay na bigat ng bawat tatanggap.

Magkapareho ang mga bilang at eksaktong fraction na ginawa ng dalawang magkahiwalay na isinulat na implementation. Nasa downloadable package ang orihinal na code sa pagkalkula, pamamaraan, at lahat ng aggregate na talahanayan. Walang kasamang raw na tala o identifier ng tatanggap. Kunin nang hiwalay sa mga may-akda ang source file at panatilihin ang pagbanggit sa kanila.

Hindi kami naglalagay ng sampling confidence interval sa pagbilang ng buong inilabas na file. Eksakto ang bilang para sa mga talang iyon, pero hindi nito itinatakda ang precision para sa mas malawak na populasyon. Mahalaga sana ang magkakaparehong tatanggap at proyekto kung maglalahat, pero hindi iyon layunin ng pag-aaral na ito.

Ang praktikal na ambag ay ang kumpletong pagsasabay ng naitalang mga aksiyon at malinaw na paraan ng pagtatanong tungkol sa susunod na pagsukat. Dinadagdagan nito, hindi pinapalitan, ang orihinal na eksperimento ng mga may-akda. Para sa pagpapasya sa kampanya, itakda ang kinalabasan, batayan, tuntunin ng pagtutugma, at saklaw ng panahon bago magpasya kung ano ang ibig sabihin ng iniulat na conversion rate.