Rasio klik dan rasio konversi: bandingkan catatan yang sama

Rasio klik menunjukkan jumlah klik dibandingkan dengan kesempatan untuk mengeklik yang telah ditetapkan. Rasio konversi menunjukkan hasil tertentu dibandingkan dengan dasar perhitungan yang ditetapkan. Tergantung laporannya, dasar itu bisa berupa tayangan iklan, pesan yang sampai ke penerima, kunjungan, orang yang mengeklik, atau kelompok lain yang memenuhi syarat. Perbandingan yang berguna dimulai dengan menyebutkan tindakan dan penyebutnya.

Misalnya, “pendaftaran di antara orang yang mengeklik” menjawab pertanyaan berbeda dari “pendaftaran di antara semua orang yang dikirimi pesan”. Keduanya boleh digunakan, tetapi label laporan perlu menjelaskan definisi yang dipakai. Jumlah klik juga berbeda dari jumlah orang berbeda yang mengeklik; kejadian berulang bisa mengubah total.

Dalam studi ini, dasar yang sama adalah satu catatan penerima–newsletter dalam dataset yang dirilis. Kami menghitung apakah catatan itu memiliki penanda klik dan penanda investasi. Kami tidak memiliki penyebut berupa pesan yang sampai ke penerima maupun urutan kejadian dengan cap waktu. Karena itu, kami menyebutnya rasio tindakan tercatat dan proporsi irisan.

Pembedaan ini berguna ketika bisnis memutuskan apakah perlu mengubah pesan, penawaran, atau cara mengukur. Dua total terpisah tidak bisa menunjukkan pada tahap mana seseorang berhenti. Menghubungkan catatan yang memenuhi syarat adalah satu langkah untuk menjawabnya; memastikan urutan dan waktu kejadian adalah langkah lainnya.

Peneliti Lars Hornuf dan Christoph Siemroth bekerja sama dengan bettervest, platform crowdfunding berbasis utang di Jerman. Eksperimen mereka membandingkan beberapa cara menjelaskan sepuluh proyek investasi dalam newsletter. Dataset yang dirilis memuat 55.357 catatan penerima–newsletter dan 7.864 kode penerima. Seorang penerima bisa muncul dalam hingga sepuluh newsletter.^[1][2]

Peneliti mencatat apakah penerima mengeklik tautan unik untuk proyek dalam newsletter dan apakah penerima tersebut menginvestasikan jumlah positif pada proyek itu. Setiap hasil disimpan sebagai penanda ya atau tidak. Penanda investasi bukan jumlah transaksi, nilai pembelian, atau ukuran penjualan ecommerce yang selesai.

Makalah asli meneliti dampak cara membingkai pesan newsletter. Analisis ulang kami mengajukan pertanyaan berbeda: seberapa besar irisan kedua hasil tercatat untuk penerima dan newsletter yang sama? Kami menggabungkan ketiga kelompok perlakuan asli dan mempertahankan seluruh sampel yang dirilis. Kami tidak mengestimasi ulang dampak pembingkaian pesan.

Catatan historis ini berasal dari satu platform crowdfunding tertentu dan dirilis pada 2023. Materi yang ditinjau tidak menetapkan jendela observasi yang sama maupun urutan klik dan investasi. Karena itu, studi ini memberi contoh pengukuran, bukan tolok ukur rasio konversi email marketing saat ini.

Klik dan investasi tercatat bersama dalam 327 dari 55.357 catatan. Sebanyak 1.499 catatan lainnya memiliki klik tanpa penanda investasi, 284 memiliki investasi tanpa penanda klik, dan 53.247 tidak memiliki satu pun dari kedua penanda. Tabel menampilkan keempat kemungkinan itu.

Dalam seluruh berkas, 1.826 catatan memiliki penanda klik, atau 3,30%. Sebanyak 611 memiliki penanda investasi, atau 1,10%. Itulah dua rasio marginalnya. Keduanya menunjukkan seberapa umum masing-masing penanda, tetapi tidak seberapa sering kedua penanda muncul pada catatan yang sama.

Dari 611 catatan berpenanda investasi, 327 juga memiliki penanda klik. Proporsinya 53,52%; sisanya, 46,48%, tidak memiliki klik tercatat. Jika pertanyaannya dibalik, penyebutnya berubah: dari 1.826 catatan berpenanda klik, 327 juga memiliki penanda investasi, atau 17,91%.

Kedua persentase itu benar karena menjawab pertanyaan berbeda. Yang pertama dimulai dari catatan investasi dan menanyakan klik. Yang kedua dimulai dari catatan klik dan menanyakan investasi. Keduanya tidak boleh disajikan sebagai peluang sebuah klik menghasilkan investasi setelahnya.

Catatan yang hanya memiliki investasi tidak menjelaskan riwayatnya sendiri. Catatan itu tidak bisa memberi tahu bahwa seseorang melewati newsletter, alat pelacak gagal merekam kejadian, atau kanal lain menyebabkan investasi. Penjelasan tersebut memerlukan bukti tentang pengumpulan data, waktu, dan aktivitas lain yang tidak tersedia dalam rilis ini.

Bagi pengelola kampanye, implikasi langsungnya lebih terbatas dan praktis: tampilkan jumlah yang cocok bersama kedua total terpisah. Jika pertanyaan bisnis menyangkut orang yang melakukan kedua tindakan, irisan itu merupakan bagian dari jawabannya. Rasio yang dihitung dari dua total yang tidak dicocokkan bukan penggantinya.

Besarnya irisan berbeda di antara sepuluh newsletter sumber. Di antara catatan berpenanda investasi, proporsi yang juga memiliki penanda klik berkisar dari 29,55% hingga 78,43%. Kami menampilkan setiap newsletter agar salah satu ujung rentang itu tidak dianggap mewakili seluruh studi.

Nomor newsletter di bawah merupakan kode sumber, bukan urutan waktu atau peringkat. Dasar investasi terkecil berjumlah 31 catatan dan terbesar 118. Saat hasil dikutip, persentase besar dengan dasar kecil harus tetap disertai jumlah dasarnya.

Jumlah lengkap di bawah membuat perbandingan ini bisa diperiksa. Untuk setiap newsletter, jumlahkan “keduanya” dan “hanya investasi” untuk mendapatkan dasar investasinya. Jumlahkan “keduanya” dan “hanya klik” untuk mendapatkan dasar kliknya. Jumlah keempat sel sama dengan total newsletter tersebut.

Variasi ini tidak menunjukkan materi kreatif newsletter yang terbaik. Proyeknya berbeda, penerima yang sama bisa muncul kembali, dan analisis baru ini menggabungkan kelompok perlakuan asli. Tidak ada uji signifikansi per newsletter atau klaim bahwa proyek tertentu menyebabkan irisan yang lebih besar.

Untuk bisnis dengan beberapa kampanye, simpan rincian tiap kampanye bersama laporan gabungan. Jika kamu ingin mengubah satu kampanye, mulailah dari baris dan jumlah kampanye itu sendiri. Pertahankan tabel gabungan saat melaporkan seluruh kampanye. Jangan memilih kampanye yang hasilnya menguntungkan setelah melihat hasilnya.

Perbandingan utama kami memberi bobot yang sama pada setiap catatan penerima–newsletter. Penerima yang muncul dalam sepuluh newsletter menyumbang sepuluh catatan, sedangkan yang muncul sekali menyumbang satu. Cara ini sesuai untuk menggambarkan catatan yang dirilis, tetapi bukan satu-satunya cara merangkumnya.

Dalam perbandingan sekunder yang ditetapkan sebelumnya, kami memberi setiap kode penerima total bobot satu. Penerima yang muncul dalam sepuluh newsletter menyumbang sepersepuluh per catatan; yang muncul sekali menyumbang satu. Dengan demikian, setiap kode penerima menyumbang total bobot yang sama. Ini tidak membuat sampel mewakili suatu negara atau pasar.

Dengan pembobotan ini, 51,69% bobot investasi juga memiliki penanda klik, dibandingkan dengan 53,52% dalam analisis utama. Proporsi sebaliknya adalah 19,12%, dibandingkan dengan 17,91%. Kedua rangkuman tetap ditampilkan. Analisis sekunder merangkum sasaran deskriptif yang berbeda, bukan koreksi yang dipilih karena hasilnya lebih disukai.

Total berbobot dalam sel mencakup pecahan karena menjumlahkan kontribusi seperti setengah atau sepersepuluh. Jumlahnya 7.864, sesuai jumlah kode penerima. Angka tersebut tidak boleh dijelaskan sebagai pecahan orang atau jumlah investor berbeda yang melakukan setiap tindakan.^[3]

Sebelum menafsirkan kampanye sebagai funnel, tulis ringkasan singkat rencana pengukuran. Templat yang bisa langsung digunakan berikut membantu merencanakan laporanmu sendiri. Templat ini tidak mengasumsikan bahwa dataset historis tadi memakai definisi yang sama, atau bahwa mengubah pengukuran akan meningkatkan penjualan.

Keputusan: “Kami ingin memutuskan [keputusan tentang pesan, penawaran, atau laporan] untuk [kampanye].” Tentukan keputusan itu sebelum memilih rasio yang mudah dipakai.

Unit dan dasar: “Satu baris mewakili [penerima–kampanye, kunjungan, atau unit lain yang didukung]. Dasar yang memenuhi syarat adalah [definisi]. Kejadian dan penerima yang berulang ditangani dengan [aturan].” Pisahkan jumlah kejadian dari jumlah pengenal.

Tindakan: “Klik berarti [kejadian spesifik yang tercatat]. Hasil berarti [pendaftaran, pertanyaan dari calon pelanggan yang memenuhi kriteria, pembelian selesai, atau tindakan lain yang ditetapkan].” Tentukan cara menangani pembatalan, pengembalian dana, kejadian uji coba, dan duplikat.

Penghubung dan waktu: “Kami menghubungkan catatan dengan [pengenal yang diizinkan]. Kami mengamati klik selama [jendela waktu] dan hasil selama [jendela waktu]. Kami bisa menentukan urutan dengan [cap waktu yang tersedia].” Jika penghubung atau cap waktu tidak tersedia, nyatakan hal itu alih-alih mengisi kekosongan dengan asumsi perjalanan pelanggan.

Laporan: “Kami akan menampilkan hanya klik, hanya hasil, keduanya, dan tanpa kedua tindakan, beserta dasar yang memenuhi syarat. Persentase bersyarat akan menyebutkan penyebutnya.” Tampilkan catatan yang tidak tersedia atau tidak terhubung sebagai persoalan pelaporan tersendiri, bukan diam-diam memasukkannya ke “tanpa kedua tindakan”.

Penggunaan: “Laporan ini menggambarkan [hubungan yang diamati]. Untuk menyatakan [kampanye menyebabkan lebih banyak hasil], kami memerlukan [rancangan perbandingan yang sesuai].” Tabel irisan itu sendiri tidak menyediakan perbandingan sebab-akibat tersebut.

Misalkan seorang kreator fiktif memiliki 1.000 catatan penerima–kampanye yang memenuhi syarat. Anggap jendela waktu yang ditetapkan dan proses pencocokan yang diizinkan menghasilkan 80 catatan dengan klik, 30 dengan pendaftaran, dan 18 dengan keduanya. Angka ini dibuat untuk pembelajaran, bukan hasil lain dari data crowdfunding.

Tabel lengkapnya berisi 18 dengan keduanya, 62 dengan hanya klik, 12 dengan hanya pendaftaran, dan 908 dengan tanpa kedua tindakan. Rasio klik adalah 80 dibagi 1.000, atau 8%. Rasio pendaftaran adalah 30 dibagi 1.000, atau 3%.

Di antara catatan berpenanda klik, 18 dari 80 juga memiliki pendaftaran: 22,5%. Di antara catatan berpenanda pendaftaran, 18 dari 30 juga memiliki klik: 60%. Kreator bisa melaporkan keempat angka itu tanpa menyiratkan bahwa semuanya mengukur hal yang sama.

Ke-12 catatan yang hanya memiliki pendaftaran perlu dijelaskan secara netral sampai kreator memiliki bukti tentang jalurnya. Bahkan jika cap waktu menunjukkan bahwa klik mendahului pendaftaran, urutan saja tidak membuktikan newsletter menyebabkannya. Kreator bisa menggunakan tabel untuk merumuskan pertanyaan berikutnya tanpa menganggapnya sebagai estimasi peningkatan pendapatan.

Ringkasan pengukuran yang berguna bisa berbunyi: “Kami menggambarkan irisan pendaftaran tercatat untuk kampanye dan jendela waktu ini. Kami akan mempertahankan keempat kategori, menunjukkan kedua dasar persentase bersyarat, dan melaporkan catatan yang tidak bisa dicocokkan secara terpisah.” Itu lebih bisa ditindaklanjuti daripada label rasio konversi yang penyebutnya tidak diketahui siapa pun.

Kami memakai dataset Stata final secara lengkap dari rilis publik versi pertama milik peneliti. Sebelum menghitung hasil gabungan, kami memeriksa identitas berkas, tujuh kolom numerik yang diperlukan, seluruh 55.357 pasangan penerima–newsletter yang unik, 7.864 kode penerima, dan sepuluh kode newsletter. Kedua penanda harus terisi dan dikodekan tepat sebagai nol atau 100.^[2]

Kami memeriksa jumlah ketiga kelompok perlakuan dan mereproduksi persentase marginal klik serta investasi yang dibulatkan dalam makalah. Tidak ada catatan yang dihapus, diimputasi, atau dihapus karena dianggap duplikat. Lalu kami menghitung keempat kombinasi secara keseluruhan dan dalam setiap newsletter, serta menghitung besaran yang sama dengan pembobotan penerima setara yang telah ditetapkan.

Dua implementasi yang ditulis secara independen menghasilkan jumlah dan pecahan eksak yang sama. Paket unduhan memuat kode perhitungan orisinal, metode, dan seluruh tabel agregat. Catatan mentah dan pengenal penerima tidak disertakan. Dapatkan berkas sumber secara terpisah dari peneliti dan tetap cantumkan atribusinya.

Kami tidak memberi interval kepercayaan sampling pada pencacahan seluruh berkas yang dirilis ini. Jumlahnya eksak untuk catatan tersebut, tetapi hal itu tidak menetapkan presisi bagi populasi yang lebih luas. Penerima dan proyek yang dipakai bersama akan penting untuk generalisasi, yang tidak dilakukan studi ini.

Kontribusi praktisnya adalah irisan tercatat yang lengkap dan cara yang jelas untuk mengajukan pertanyaan pengukuran berikutnya. Analisis ini melengkapi, bukan menggantikan, eksperimen asli peneliti. Untuk keputusan kampanye, tentukan hasil, dasar, aturan pencocokan, dan jendela waktu sebelum memutuskan arti rasio konversi yang dilaporkan.