Uji A/B email: apa yang berubah setelah satu jam pertama

Pada menit ke-60, 4.712 dari 5.743 pasangan yang memenuhi syarat memiliki satu versi yang unggul: nilai ukuran klik tercatatnya lebih tinggi daripada versi lainnya. Pada menit ke-1.440, atau 24 jam setelah setiap versi dikirim, 3.510 pasangan masih menunjukkan versi yang sama unggul. Sebanyak 991 pasangan menunjukkan versi lainnya unggul, sedangkan 211 seri. Jadi, di antara pasangan yang awalnya memiliki satu versi unggul, 74,5% mempertahankannya, 21,0% berbalik, dan 4,5% menjadi seri. ^[2]

Perbandingan ini menggunakan satu ukuran tercatat tertentu. Penghitung klik unik setiap versi dibagi jumlah email yang dilaporkan dikirim, lalu dikalikan 100. Satuannya menjadi klik tercatat per 100 email yang dikirim. Unggul berarti nilai ukuran ini lebih tinggi, sekecil apa pun selisihnya. Itu tidak berarti hasilnya signifikan secara statistik.

Mayoritas tersebut tetap perlu diperhatikan. Arsip ini tidak menunjukkan bahwa hasil laporan jam pertama umumnya berbalik. Arsip ini menunjukkan bahwa keunggulan yang bertahan, posisi yang berbalik, dan hasil yang kemudian seri semuanya terjadi. Laporan yang hanya menyimpan urutan awal kehilangan perbedaan antara berbagai pola hasil berikutnya.

Laporan jam pertama dapat menggambarkan informasi yang tercatat saat itu dengan tepat meskipun urutannya berbeda kemudian. Menyebut pembalikan sebagai “pemenang palsu” merupakan klaim lebih jauh: urutan berikutnya dianggap sebagai kebenaran, dan laporan awal dianggap mengklaim lebih dari sekadar keunggulan saat itu. Di sini, kedua pengamatan tetap disimpan. Perbandingan menunjukkan perubahan urutan yang tercatat, bukan tingkat kesalahan suatu sistem pengambilan keputusan.

Cakupan sumber juga lebih sempit daripada yang terkesan dari istilah umum “uji A/B email”. Dari pasangan yang memenuhi syarat, 5.647 berlabel nama pengirim dan 96 berlabel topik. Dengan demikian, uji nama pengirim mencakup 98,3% analisis ini. Temuan ini tidak boleh disajikan sebagai tolok ukur baris subjek atau perkiraan untuk semua platform email.

Grafik di bawah menggunakan seluruh 5.743 pasangan sebagai penyebut, termasuk 1.031 yang awalnya seri. Dengan begitu, semua pola hasil yang teramati tetap terlihat. Sebanyak 991 pembalikan adalah 17,3% dari semua pasangan, tetapi 21,0% dari 4.712 pasangan yang memiliki keunggulan awal. Kedua angka itu benar, tetapi menjawab pertanyaan yang berbeda.

Laporan jam pertama yang seri tidak memiliki versi unggul yang posisinya dapat bertahan atau berbalik. Dalam arsip ini, 588 dari 1.031 pasangan yang awalnya seri kemudian memiliki satu versi unggul, sementara 443 tetap seri. Itu berarti 57,0% dari pasangan yang awalnya seri. Persentase ini tidak boleh ditambahkan ke persentase pembalikan karena kelompok awalnya berbeda.

Banyak hasil seri awal juga disertai sedikit aktivitas tercatat. Pada 655 dari 1.031 pasangan seri, kedua penghitung klik unik pada jam pertama bernilai nol. Hasil seri lainnya bisa memiliki penghitung positif dengan rasio yang persis sama. Kami menentukan kesamaan berdasarkan jumlah dasar dan total kirim, bukan persentase yang dibulatkan pada grafik. ^[3]

Bagi tim pelaporan, ini membedakan “tidak ada versi yang unggul dalam ukuran tercatat” dari “kedua versi berkinerja sama”. Pernyataan pertama adalah pengamatan pada waktu sejak pengiriman yang disebutkan. Pernyataan kedua memerlukan bukti yang tidak disediakan oleh perbandingan deskriptif ini. Sebagian hasil seri yang kemudian berbeda tidak menentukan versi mana yang seharusnya dipilih lebih awal.

Penyebutnya dapat diperiksa dengan perhitungan singkat menggunakan jumlah sebenarnya dalam arsip. Bagi 588 dengan 1.031 untuk menggambarkan apa yang terjadi pada pasangan yang awalnya seri. Bagi 991 dengan 4.712 untuk menggambarkan pembalikan di antara pasangan yang awalnya memiliki versi unggul. Bagi salah satu jumlah itu dengan 5.743 hanya jika pertanyaannya menyangkut semua pasangan yang memenuhi syarat. Judul laporan sebaiknya menyebutkan kelompok awal tersebut secara jelas.

Pada 991 pasangan yang berbalik, median selisih absolutnya sebesar 0,062 klik tercatat per 100 email yang dikirim pada jam pertama dan 0,110 pada 24 jam. Ini adalah selisih ukuran tercatat antara kedua versi, bukan tambahan orang, pembelian yang diatribusikan, atau perubahan persentase pendapatan. ^[3]

Penyebut jumlah kirim penting saat membaca selisih tersebut. Perbedaan penghitung klik mentah saja tidak cukup untuk membandingkan versi dengan total kirim yang berbeda. Setiap penghitung harus terlebih dahulu dibagi total kirim yang dilaporkan untuk versinya sendiri. Selisih 0,110 pada ukuran ini juga tidak boleh disebut peningkatan relatif sebesar 0,110%: itu adalah perbedaan absolut pada skala per 100 email yang dikirim, tanpa nilai penjualan yang melekat.

Besarnya selisih pada pengamatan berikutnya bervariasi. Untuk pasangan yang berbalik, separuh nilai di bagian tengah berada di antara sekitar 0,025 dan 0,336 klik tercatat per 100 email yang dikirim. Jadi, median menggambarkan posisi tengah dalam kelompok ini; bukan berarti setiap pembalikan kecil. Urutan bisa berubah dengan selisih kecil, dan beberapa selisih tercatat jauh lebih besar.

Pola hasil lainnya memberikan konteks yang berguna. Pasangan yang mempertahankan keunggulan memiliki median selisih berikutnya sebesar 0,291. Pasangan yang berubah dari seri menjadi unggul memiliki median selisih berikutnya sebesar 0,444. Menurut definisinya, hasil yang kemudian seri memiliki selisih tepat nol. Tabel menyajikan kelima pola hasil bersama-sama, bukan hanya menyoroti pembalikan.

Kolom awal dan berikutnya berisi median yang dihitung terpisah dalam setiap baris. Keduanya tidak mengikuti satu pasangan yang dianggap tipikal, dan mengurangkannya tidak menghasilkan median perubahan antarpasangan. Bacalah sebagai ringkasan selisih pada setiap waktu pengamatan. Untuk menjelaskan arah perbandingan, gunakan label pola hasil bersama besarnya selisih.

Kelompok-kelompok ini ditentukan berdasarkan apa yang terjadi pada kedua waktu pengamatan. Median selisihnya tidak dapat digunakan sebagai aturan untuk mengenali pembalikan dalam kampanye baru sebelum hasilnya diketahui. Secara khusus, median awal yang lebih kecil pada pasangan yang berbalik bukan ambang tervalidasi untuk memutuskan kapan laporan aman dijadikan dasar tindakan.

Konteks jumlah perlu disertakan bersama selisihnya. Di antara seluruh 4.712 pasangan yang memiliki satu versi unggul pada jam pertama, median gabungan penghitung klik unik kedua versi adalah sembilan. Pada 488 pasangan tersebut, penghitung gabungannya tepat satu. Ini menggambarkan informasi awal pada pasangan yang memiliki keunggulan awal; bukan menunjukkan bahwa pasangan-pasangan itulah yang menyebabkan total pembalikan atau bahwa jumlah rendah menjelaskan perubahan.

Kami menetapkan perbandingan tambahan sebelum menghitung hasil. Memulai dari 30 menit alih-alih 60 menit menghasilkan 4.507 pasangan dengan satu versi unggul. Dari kelompok itu, 24,3% berbalik pada menit ke-1.440. Hasil jam pertama adalah 21,0% di antara 4.712 pasangan dengan satu versi unggul. Perbedaan penyebut penting: beberapa pasangan seri pada satu waktu pengamatan, tetapi memiliki versi unggul pada waktu lainnya. ^[4]

Ini tidak membuktikan bahwa menunggu 30 menit lagi mencegah persentase tertentu dari keputusan yang salah. Kedua perhitungan menggambarkan urutan yang teramati pada waktu sejak pengiriman yang berbeda. Keduanya tidak mengacak penerapan kebijakan waktu tunggu atau mengevaluasi konsekuensi keputusan pengiriman akhir.

Kami juga membatasi perbandingan jam pertama pada 686 pasangan yang kedua versinya memiliki waktu kirim tercatat yang sama. Dari 560 yang memiliki satu versi unggul pada awal pengamatan, 19,6% berbalik kemudian. Pemeriksaan ini mengurangi satu perbedaan waktu dalam data tercatat. Waktu yang sama tidak membuktikan email diterima bersamaan atau audiens mendapat paparan yang setara.

Beberapa ID klien menyumbang jauh lebih banyak pasangan daripada yang lain. Perhitungan utama memberi bobot yang sama pada setiap pasangan. Pemeriksaan terpisah terlebih dahulu menghitung proporsi pembalikan dalam masing-masing dari 403 ID klien yang memiliki setidaknya satu pasangan dengan keunggulan pada jam pertama, lalu memberi bobot yang sama pada setiap ID tersebut. Rata-ratanya 19,2%. Ini menggambarkan rata-rata proporsi pembalikan mereka, bukan persentase klien yang mengalami pembalikan. ^[4]

Secara keseluruhan, pemeriksaan yang telah ditetapkan tetap menunjukkan persoalan praktis yang sama: keunggulan awal yang teramati dapat bertahan, berbalik, atau menjadi seri. Pemeriksaan ini tidak menghasilkan probabilitas pembalikan yang berlaku universal. Arsip memuat rekaman berulang dalam ID klien, dan ID tersebut bukan sampel terverifikasi dari bisnis-bisnis independen.

Laporan yang berguna dimulai dari keputusan yang akan dibuat. Apakah penerimanya memilih pengiriman berikutnya, mendokumentasikan uji yang sudah selesai, atau meninjau uji terdahulu untuk rapat perencanaan? Pengamatan jam pertama mungkin relevan untuk setiap tugas, tetapi laporan yang disiapkan untuk satu tugas bisa melewatkan informasi yang diperlukan untuk tugas lain.

Sebutkan variabel yang diuji dan ukurannya sebelum menyebut versi yang unggul. Di sini, itu berarti nama pengirim atau topik, diikuti penghitung klik unik per 100 email yang dilaporkan dikirim. Tim yang menggunakan email yang sampai ke penerima, klik manusia terverifikasi, atau pembelian perlu menyebutkan definisi tersebut. Menampilkan ukuran dengan jelas juga memudahkan penafsiran perbandingan berikutnya.

Selanjutnya, letakkan waktu pengamatan di samping posisi unggul atau seri. Sertakan selisih antara kedua ukuran serta penghitung dan total kirim yang mendasari masing-masing versi. Pembaca laporan dapat melihat arah, selisih, dan aktivitas tercatat di baliknya, tanpa harus menyimpulkan ketiganya dari satu baris yang disorot.

Contoh cara menyampaikan hasil: “Pada [waktu pengamatan], [versi atau seri] menggambarkan urutan saat ini dalam [ukuran yang didefinisikan]; selisihnya [nilai], berdasarkan [penghitung dan total kirim].” Bagian dalam kurung siku adalah kolom yang perlu diisi dari laporan nyata, bukan hasil kampanye dari studi ini. Kalimat terpisah sebaiknya mencatat tindakan yang dipilih beserta alasannya.

Jika tersedia pengamatan berikutnya, simpan pengamatan awal dan tunjukkan apakah keunggulannya bertahan, berbalik, atau menjadi seri. Dengan begitu, tinjauan ke belakang dapat membedakan apa yang diketahui saat itu dari apa yang dicatat kemudian. Sertakan juga pasangan yang awalnya seri, kecuali laporan secara jelas hanya membahas pasangan yang sudah memiliki versi unggul.

Pemilihan versi tetap bergantung pada tujuan kampanye, batasan pengiriman, kualitas pengukuran, dan biaya dari masing-masing pilihan. Arsip ini tidak menetapkan aturannya. Arsip ini memberikan alasan yang berguna untuk tidak membiarkan satu kata, “pemenang”, mewakili pengamatan sekaligus keputusan.

Penelitian terdahulu sudah memperlakukan kinerja email sebagai sesuatu yang berkembang seiring waktu. “Real-Time Evaluation of E-mail Campaign Performance” oleh Bonfrer dan Drèze, diterbitkan daring pada 2008 dan dalam Marketing Science pada 2009, menjelaskan metode prediktif dan kerangka keputusan berurutan yang dievaluasi pada 25 kampanye. Gagasan umum bahwa hasil awal dan berikutnya bisa berbeda bukanlah hal baru. ^[5]

Analisis ini menjawab pertanyaan deskriptif yang lebih sempit menggunakan arsip berbeda: seberapa sering urutan tercatat bertahan, berbalik, atau menjadi seri dalam pasangan yang memenuhi syarat, dan berapa selisih yang menyertai pola hasil tersebut? Hasil seri awal tetap ditampilkan, lalu diperiksa apakah gambaran itu berubah dengan pilihan waktu dan pembobotan yang telah ditetapkan.

Pembedaan ini penting saat membaca temuan. Model prediktif mencoba memperkirakan apa yang akan terjadi berikutnya berdasarkan asumsi-asumsinya. Tabel kami menggambarkan isi rekaman yang dirilis pada waktu sejak pengiriman yang ditentukan. Persentase yang teramati dapat membantu tim menjelaskan laporan; persentase itu bukan model untuk memilih versi kampanye berikutnya.

SendGuard900K berisi 908.229 rekaman kampanye yang dirilis. Deskripsi sumber menyebut metadata produksi dari 2022–2024. Kami menyaring 6.801 kelompok yang diidentifikasi melalui gabungan ID klien dan ID uji, lalu mempertahankan 5.743 kelompok dengan tepat dua rekaman bagian uji yang teramati dan memenuhi syarat, serta jumlah kirim yang dilaporkan bernilai positif. Rekaman pengiriman akhir dikeluarkan dari perbandingan pasangan; keberadaannya tidak diwajibkan. ^{[1] [6]}

Pasangan yang dipertahankan mencakup 473 ID klien. Adanya tepat dua rekaman teramati yang memenuhi syarat tidak membuktikan bahwa setiap eksperimen awal hanya mengatur dua varian, arsipnya lengkap, atau audiensnya ditetapkan secara acak. Karena itu, kami menyebutnya pasangan yang teramati, bukan kumpulan terverifikasi dari eksperimen acak yang lengkap.

Untuk setiap versi, perhitungan menggunakan penghitung klik unik pada menit ke-30, ke-60, atau ke-1.440 dengan penyebut jumlah kirim yang dilaporkan dalam arsip yang sama. Setiap waktu pengamatan dihitung sejak versi tersebut dikirim. Kedua versi dalam pasangan analisis utama tidak harus dikirim pada waktu yang sama. Pemeriksaan waktu kirim yang sama adalah pembatasan terpisah, bukan asumsi untuk semua pasangan.

Semua penghitung yang diperlukan pada pasangan yang memenuhi syarat tersedia, valid, dan tidak negatif; tidak ada yang melebihi jumlah kirim yang dilaporkan. Tidak ada penghitung yang menurun di antara ketiga waktu pengamatan. Pemeriksaan ini mendukung aritmetika data tercatat, tetapi tidak dapat memastikan arti klik unik, penyaringan bot, penerimaan email, atau apakah pengamatan berikutnya menangkap setiap respons yang akhirnya muncul. ^[6]

Kami menentukan posisi unggul dan seri dengan membandingkan rasio dasarnya secara persis sebelum pembulatan. Selisih adalah perbedaan absolut dalam klik tercatat per 100 email yang dikirim. Median dan kuantil lainnya menggunakan aturan peringkat terdekat: urutkan nilai, lalu pilih peringkat yang ditetapkan, tanpa interpolasi. Gambar membulatkan persentase ke satu angka desimal dan median selisih ke tiga; unduhan nilai gambar mempertahankan enam angka desimal jika berlaku.

Metode menetapkan struktur kelayakan, waktu pengamatan, lima pola hasil, ringkasan jumlah dan selisih, pemeriksaan waktu, serta perhitungan dengan bobot klien setara sebelum hasil dibaca. Semua tabel agregat yang telah ditetapkan tetap ada dalam unduhan riset, termasuk jumlah nol dan pemeriksaan kualitas. Reproduksi independen dari sumber cocok dengan seluruh keluaran agregat. Ini adalah hasil deskriptif arsip, tanpa interval kepercayaan, uji signifikansi, atau klaim sampel industri yang representatif. ^[7]