Ujian A/B e-mel: apa yang berubah selepas jam pertama

Pada minit ke-60, 4,712 daripada 5,743 pasangan yang layak mempunyai satu versi yang mendahului: ukuran klik direkodkannya lebih tinggi daripada versi yang satu lagi. Pada minit ke-1,440, atau 24 jam selepas setiap versi dihantar, 3,510 pasangan masih menunjukkan versi yang sama mendahului. Sebanyak 991 pasangan menunjukkan versi yang satu lagi mendahului, manakala 211 seri. Dalam kalangan pasangan yang bermula dengan satu pendahulu, 74.5% mengekalkannya, 21.0% bertukar pendahulu dan 4.5% menjadi seri. ^[2]

Ini ialah perbandingan bagi satu ukuran tertentu yang direkodkan. Kami membahagikan pembilang klik unik setiap versi dengan bilangan e-mel yang dilaporkan dihantar, kemudian mendarabkannya dengan 100. Unitnya ialah klik direkodkan bagi setiap 100 e-mel dihantar. Mendahului bermaksud nilai ukuran itu lebih tinggi, walau sekecil mana pun perbezaannya. Ia tidak bermaksud hasil yang signifikan secara statistik.

Majoriti itu wajar terus diberi perhatian. Arkib ini tidak menunjukkan bahawa keputusan laporan jam pertama biasanya berbalik. Ia menunjukkan bahawa kedudukan yang kekal, pertukaran pendahulu dan keputusan yang kemudian seri semuanya berlaku. Laporan yang hanya merekodkan susunan awal kehilangan perbezaan antara corak hasil kemudian itu.

Laporan jam pertama boleh menerangkan maklumat yang direkodkan ketika itu dengan tepat walaupun susunan kemudian berbeza. Menamakan pertukaran pendahulu sebagai “pemenang palsu” melangkaui pemerhatian tersebut: susunan kemudian dianggap sebagai kebenaran, dan laporan awal dianggap membuat dakwaan lebih daripada kedudukan mendahului ketika itu. Di sini, kedua-dua pemerhatian dikekalkan. Perbandingan menunjukkan perubahan susunan yang direkodkan, bukan kadar ralat sistem keputusan.

Skop sumber juga lebih sempit daripada gambaran umum istilah “ujian A/B e-mel”. Daripada pasangan yang layak, 5,647 dilabel nama pengirim dan 96 dilabel topik. Oleh itu, ujian nama pengirim merangkumi 98.3% analisis ini. Dapatan tidak sepatutnya dibentangkan sebagai penanda aras baris subjek atau anggaran bagi setiap platform e-mel.

Carta di bawah menggunakan kesemua 5,743 pasangan sebagai penyebut, termasuk 1,031 yang bermula dengan keputusan seri. Ini membolehkan setiap corak hasil yang diperhatikan dilihat. Sebanyak 991 pertukaran pendahulu ialah 17.3% daripada semua pasangan, tetapi 21.0% daripada 4,712 pasangan dengan pendahulu awal. Kedua-dua angka betul; soalan yang dijawab berbeza.

Laporan jam pertama yang seri tidak mempunyai versi mendahului untuk dikekalkan atau ditukar. Dalam arkib ini, 588 daripada 1,031 pasangan yang pada awalnya seri kemudian mempunyai pendahulu, manakala 443 kekal seri. Itu bersamaan 57.0% daripada keputusan seri awal. Ia tidak boleh ditambah pada peratus pertukaran pendahulu, yang bermula daripada kumpulan lain.

Banyak keputusan seri awal turut mengandungi sedikit aktiviti direkodkan. Dalam 655 daripada 1,031 pasangan seri, kedua-dua pembilang klik unik pada jam pertama ialah sifar. Keputusan seri lain boleh mempunyai pembilang positif dengan nisbah yang betul-betul sama. Kami menentukan kesamaan berdasarkan bilangan asas dan jumlah penghantaran, bukan peratus yang dibundarkan pada carta. ^[3]

Bagi pasukan pelaporan, ini membezakan “tiada pendahulu dalam ukuran direkodkan” daripada “kedua-dua versi berprestasi sama”. Yang pertama ialah pemerhatian pada masa sejak penghantaran yang dinyatakan. Yang kedua memerlukan bukti yang tidak diberikan oleh perbandingan deskriptif ini. Sesetengah keputusan seri yang kemudian berbeza tidak menentukan versi yang sepatutnya dipilih lebih awal.

Penyebut boleh disemak melalui pengiraan ringkas menggunakan bilangan sebenar dalam arkib. Bahagikan 588 dengan 1,031 untuk menerangkan perubahan pada keputusan seri awal. Bahagikan 991 dengan 4,712 untuk menerangkan pertukaran pendahulu dalam kalangan pasangan dengan pendahulu awal. Bahagikan salah satu bilangan itu dengan 5,743 hanya apabila soalan melibatkan semua pasangan yang layak. Tajuk laporan perlu menyatakan kumpulan permulaan itu dengan jelas.

Bagi 991 pasangan yang bertukar pendahulu, median jurang mutlak ialah 0.062 klik direkodkan bagi setiap 100 e-mel dihantar pada jam pertama dan 0.110 pada 24 jam. Ini ialah perbezaan antara ukuran direkodkan kedua-dua versi, bukan tambahan orang, pembelian yang dikaitkan dengan kempen atau perubahan peratus hasil jualan. ^[3]

Penyebut penghantaran penting apabila membaca jurang itu. Perbezaan antara pembilang klik mentah sahaja tidak memadai untuk membandingkan versi dengan jumlah penghantaran berbeza. Setiap pembilang mesti dibahagikan dahulu dengan jumlah penghantaran yang dilaporkan bagi versinya sendiri. Jurang 0.110 dalam ukuran ini juga tidak sepatutnya disebut peningkatan relatif 0.110%: ia ialah perbezaan mutlak pada skala bagi setiap 100 e-mel dihantar, tanpa nilai jualan yang dikaitkan dengannya.

Saiz jurang kemudian berbeza-beza. Bagi pasangan yang bertukar pendahulu, separuh nilai di bahagian tengah terletak antara kira-kira 0.025 dengan 0.336 klik direkodkan bagi setiap 100 e-mel dihantar. Maka, median menerangkan kedudukan tengah dalam kumpulan ini; ia tidak bermaksud setiap pertukaran melibatkan jurang kecil. Susunan boleh berubah merentas jurang kecil, dan sesetengah jurang direkodkan jauh lebih besar.

Corak hasil lain memberi konteks berguna. Pasangan yang mengekalkan pendahulu mempunyai median jurang kemudian sebanyak 0.291. Pasangan yang berubah daripada seri kepada satu pendahulu mempunyai median jurang kemudian sebanyak 0.444. Keputusan kemudian yang seri mempunyai jurang tepat sifar mengikut definisinya. Jadual mengekalkan kelima-lima corak hasil bersama-sama, bukan hanya menonjolkan pertukaran pendahulu.

Lajur awal dan kemudian ialah median berasingan dalam setiap baris. Ia tidak menjejaki satu pasangan yang dianggap biasa, dan menolaknya antara satu sama lain tidak memberikan median perubahan merentas pasangan. Bacalah sebagai ringkasan jurang pada setiap masa pemerhatian. Untuk menerangkan arah perbandingan, gunakan label corak hasil bersama saiznya.

Kumpulan ini ditentukan berdasarkan apa yang berlaku pada kedua-dua masa pemerhatian. Median jurangnya tidak boleh digunakan sebagai peraturan awal untuk mengesan pertukaran pendahulu dalam kempen baharu. Khususnya, median awal yang lebih kecil dalam kalangan pasangan yang bertukar pendahulu bukan ambang yang telah disahkan untuk memutuskan bila laporan selamat dijadikan asas tindakan.

Konteks bilangan perlu disertakan bersama jurang. Dalam kalangan kesemua 4,712 pasangan dengan pendahulu pada jam pertama, median gabungan pembilang klik unik kedua-dua versi ialah sembilan. Dalam 488 pasangan tersebut, pembilang gabungannya tepat satu. Ini menerangkan bukti awal dalam kalangan pasangan dengan pendahulu awal; ia tidak menunjukkan bahawa pasangan tertentu itulah yang menyebabkan jumlah pertukaran pendahulu atau bahawa bilangan rendah menerangkan perubahan tersebut.

Kami menetapkan perbandingan tambahan sebelum mengira hasil. Bermula pada 30 minit dan bukannya 60 minit menghasilkan 4,507 pasangan dengan pendahulu awal. Daripadanya, 24.3% bertukar pendahulu pada minit ke-1,440. Hasil jam pertama ialah 21.0% dalam kalangan 4,712 pasangan dengan pendahulu. Penyebut yang berbeza penting: sesetengah pasangan seri pada satu masa pemerhatian tetapi mempunyai pendahulu pada masa yang lain. ^[4]

Ini tidak membuktikan bahawa menunggu 30 minit lagi menghalang peratus tertentu keputusan yang salah. Kedua-dua pengiraan menerangkan susunan yang diperhatikan pada masa sejak penghantaran yang berbeza. Ia tidak menetapkan dasar menunggu secara rawak atau menilai akibat keputusan penghantaran akhir.

Kami turut mengehadkan perbandingan jam pertama kepada 686 pasangan yang kedua-dua versinya mempunyai cap masa penghantaran direkodkan yang sama. Daripada 560 dengan pendahulu awal, 19.6% bertukar pendahulu kemudian. Semakan ini mengurangkan satu perbezaan masa dalam data direkodkan. Cap masa yang sepadan tidak membuktikan e-mel sampai serentak atau pendedahan khalayak yang setara.

Sesetengah ID pelanggan menyumbang jauh lebih banyak pasangan berbanding yang lain. Pengiraan utama memberi wajaran sama kepada setiap pasangan. Semakan berasingan terlebih dahulu mengira bahagian pertukaran pendahulu dalam setiap satu daripada 403 ID pelanggan dengan sekurang-kurangnya satu pendahulu pada jam pertama, kemudian memberi wajaran sama kepada setiap ID tersebut. Puratanya 19.2%. Ini ialah purata bahagian pertukaran pendahulu mereka, bukan peratus pelanggan yang mengalami pertukaran pendahulu. ^[4]

Secara bersama, semakan yang ditetapkan mengekalkan persoalan praktikal yang sama: pendahulu awal yang diperhatikan boleh kekal, bertukar atau menjadi seri. Ia tidak menghasilkan kebarangkalian pertukaran pendahulu yang sejagat. Arkib mempunyai rekod berulang dalam ID pelanggan, dan ID tersebut bukan sampel perniagaan bebas yang telah disahkan.

Laporan yang berguna bermula dengan keputusan yang perlu dibuat. Adakah penerimanya memilih penghantaran seterusnya, mendokumentasikan ujian yang telah selesai, atau menyemak ujian terdahulu untuk mesyuarat perancangan? Pemerhatian jam pertama mungkin relevan bagi setiap tugas, tetapi laporan untuk satu tugas boleh meninggalkan maklumat yang diperlukan bagi tugas lain.

Nyatakan pemboleh ubah yang diuji dan ukurannya sebelum menamakan pendahulu. Di sini, itu bermaksud nama pengirim atau topik, diikuti pembilang klik unik bagi setiap 100 e-mel yang dilaporkan dihantar. Pasukan yang menggunakan e-mel yang sampai, klik manusia yang disahkan atau pembelian perlu menyatakan definisi itu. Memaparkan ukuran dengan jelas juga memudahkan tafsiran perbandingan kemudian.

Seterusnya, letakkan masa pemerhatian di sebelah kedudukan mendahului atau seri. Sertakan perbezaan antara kedua-dua ukuran serta pembilang dan jumlah penghantaran asas bagi kedua-dua versi. Pembaca laporan boleh melihat arah, jurang dan aktiviti direkodkan yang mendasarinya, tanpa perlu membuat ketiga-tiga kesimpulan daripada satu baris yang diserlahkan.

Contoh ayat penyerahan laporan ialah: “Pada [masa pemerhatian], [versi atau seri] menerangkan susunan semasa dalam [ukuran yang ditakrifkan]; jurangnya ialah [nilai], berdasarkan [pembilang dan jumlah penghantaran].” Teks dalam kurungan siku ialah ruang untuk diisi daripada laporan sebenar, bukan hasil kempen daripada kajian ini. Ayat berasingan perlu merekodkan tindakan yang dipilih dan sebabnya.

Jika pemerhatian kemudian tersedia, kekalkan pemerhatian awal dan tunjukkan sama ada pendahulu kekal, bertukar atau menjadi seri. Ini membolehkan semakan kemudian membezakan apa yang diketahui ketika itu daripada apa yang direkodkan selepasnya. Sertakan juga pasangan yang bermula dengan keputusan seri, kecuali laporan secara jelas hanya melibatkan pasangan yang sudah mempunyai pendahulu.

Pemilihan versi masih bergantung pada objektif kempen, kekangan penghantaran, kualiti pengukuran dan kos setiap pilihan. Arkib ini tidak menetapkan peraturan itu. Ia memberi sebab yang berguna untuk tidak membiarkan satu perkataan, “pemenang”, mewakili pemerhatian dan keputusan sekali gus.

Kajian terdahulu sudah menganggap prestasi e-mel sebagai sesuatu yang berkembang mengikut masa. “Real-Time Evaluation of E-mail Campaign Performance” oleh Bonfrer dan Drèze, diterbitkan dalam talian pada 2008 dan dalam Marketing Science pada 2009, menerangkan kaedah ramalan dan rangka kerja keputusan berurutan yang dinilai pada 25 kempen. Idea umum bahawa hasil awal dan kemudian boleh berbeza bukan perkara baharu. ^[5]

Analisis ini menjawab soalan deskriptif yang lebih sempit menggunakan arkib lain: berapa kerap susunan direkodkan kekal, bertukar atau seri dalam pasangan yang layak, dan apakah jurang yang mengiringi corak hasil itu? Keputusan seri awal dikekalkan dalam paparan, dan kami menyemak sama ada gambaran berubah di bawah pilihan masa dan wajaran yang telah ditetapkan.

Perbezaan ini penting ketika membaca dapatan. Model ramalan cuba menganggarkan apa yang akan berlaku seterusnya berdasarkan andaian model itu. Jadual kami menerangkan kandungan rekod yang dikeluarkan pada masa sejak penghantaran yang ditentukan. Peratus yang diperhatikan boleh membantu pasukan menerangkan laporan; ia bukan model untuk memilih versi kempen seterusnya.

SendGuard900K mengandungi 908,229 rekod kempen yang dikeluarkan. Penerangan sumber menyatakan metadata produksi dari 2022–2024. Kami menyaring 6,801 kumpulan yang dikenal pasti melalui gabungan ID pelanggan dan ID ujian, kemudian mengekalkan 5,743 kumpulan dengan tepat dua rekod bahagian ujian yang diperhatikan dan layak serta bilangan penghantaran dilaporkan yang positif. Rekod penghantaran akhir dikecualikan daripada perbandingan pasangan; kewujudannya tidak diwajibkan. ^{[1] [6]}

Pasangan yang dikekalkan merangkumi 473 ID pelanggan. Tepat dua rekod diperhatikan yang layak tidak membuktikan bahawa setiap eksperimen asal hanya mempunyai dua varian yang ditetapkan, arkibnya lengkap atau khalayaknya diagihkan secara rawak. Oleh itu, kami menerangkan pasangan yang diperhatikan, bukan koleksi eksperimen rawak lengkap yang telah disahkan.

Bagi setiap versi, pengiraan menggunakan pembilang klik unik pada minit ke-30, ke-60 atau ke-1,440 serta penyebut penghantaran dilaporkan yang sama dalam arkib. Setiap masa pemerhatian dikira relatif kepada penghantaran versi itu. Kedua-dua versi dalam pasangan utama tidak semestinya dihantar pada masa yang sama. Semakan cap masa yang sama ialah sekatan berasingan, bukan andaian untuk setiap pasangan.

Semua pembilang yang diperlukan dalam pasangan yang layak tersedia, sah dan tidak negatif; tiada yang melebihi bilangan penghantaran dilaporkannya. Tiada pembilang menurun antara ketiga-tiga masa pemerhatian. Semakan ini menyokong pengiraan rekod, tetapi tidak dapat memastikan maksud klik unik, penapisan bot, penerimaan e-mel atau sama ada pemerhatian kemudian menangkap setiap respons yang akhirnya berlaku. ^[6]

Kami menentukan pendahulu dan keputusan seri melalui perbandingan tepat nisbah asas sebelum pembundaran. Jurang ialah perbezaan mutlak dalam klik direkodkan bagi setiap 100 e-mel dihantar. Median dan kuantil lain menggunakan kaedah pangkat terdekat: susun nilai dan pilih kedudukan yang dinyatakan, tanpa interpolasi. Rajah membundarkan peratus kepada satu tempat perpuluhan dan median jurang kepada tiga; muat turun nilai rajah mengekalkan enam tempat perpuluhan apabila berkenaan.

Kaedah menetapkan struktur kelayakan, masa pemerhatian, lima corak hasil, ringkasan bilangan dan jurang, semakan masa serta pengiraan wajaran pelanggan sama sebelum hasil dibaca. Semua jadual agregat yang ditetapkan kekal dalam muat turun penyelidikan, termasuk bilangan sifar dan semakan kualiti. Pengiraan semula secara bebas daripada sumber sepadan dengan keseluruhan keluaran agregat. Ini ialah hasil arkib deskriptif, tanpa selang keyakinan, ujian kesignifikanan atau dakwaan sampel yang mewakili industri. ^[7]