Pengujian multivariat: apa yang bisa kamu pelajari dari uji materi kampanye

Kami memeriksa kombinasi judul dan gambar di dalam masing-masing pengujian situs web Upworthy. Dari 3.212 pengujian yang memenuhi aturan cakupan utama, 188 mengubah kedua elemen. Sebagian besar pengujian lainnya hanya mengubah satu elemen. Setiap pengujian tetap dipisahkan dan dihitung satu kali, berapa pun jumlah orang yang mungkin melihatnya. ^[2]

Hanya 31 dari 188 pengujian yang memuat seluruh kombinasi judul dan ID gambar yang teramati di dalamnya. Sebanyak 157 lainnya membentuk kisi kombinasi yang tidak lengkap. Ini terdengar membatasi, sampai kita memeriksa perbandingan apa yang masih tersedia. Dari 157 rancangan tersebut, 75 memiliki perbandingan judul dengan gambar yang sama sekaligus perbandingan gambar dengan judul yang sama. Sebanyak 30 hanya memiliki jenis pertama, dan 45 hanya jenis kedua. Tujuh tidak memiliki perbandingan judul maupun perbandingan gambar.

Secara keseluruhan, 150 dari 157 rancangan yang tidak lengkap, atau 95,5%, masih menyediakan setidaknya satu cara untuk membandingkan suatu elemen dengan mempertahankan elemen lainnya. Ini tidak membuktikan bahwa perbandingannya memiliki trafik yang cukup, penempatan peserta yang tepat, atau hasil yang bermakna. Namun, temuan ini menunjukkan mengapa alasan “tidak semua kombinasi diuji” terlalu umum untuk langsung menolak sebuah rancangan.

Tabel ini menggabungkan rancangan lengkap dan tidak lengkap. Dari seluruh 188 pengujian, 106 memuat kedua jenis perbandingan, 30 hanya perbandingan judul, 45 hanya perbandingan gambar, dan tujuh tidak memuat perbandingan judul maupun perbandingan gambar. “Keduanya” berarti setidaknya ada satu perbandingan untuk setiap jenis. Ini tidak berarti setiap judul atau gambar bisa dibandingkan dalam kondisi yang setara.

Makalah asli arsip ini sudah menjelaskan bahwa editor sering memilih versi materi tanpa menguji setiap kombinasi yang mungkin. Kontribusi kami adalah inventarisasi perbandingan yang masih tersedia dari pilihan tersebut. Kami tidak bisa merekonstruksi tujuan setiap editor atau menilai apakah rancangannya memenuhi tujuan itu. ^[1]

Bayangkan sebuah studio keramik yang mempromosikan lokakarya akhir pekan. Studio itu memiliki dua judul: A, “Buat mangkuk keramik pertamamu,” dan B, “Isi hari Sabtumu dengan membuat keramik di meja putar.” Gambar 1 menampilkan mangkuk yang sudah jadi; Gambar 2 menampilkan meja putar. Ini adalah contoh ilustratif, bukan contoh dari Upworthy atau hasil kampanye yang diukur. Pertahankan penawaran dan teks lain yang ditampilkan saat mempertimbangkan tiga rancangan berikut.

Pertama, kisi lengkap memuat A dengan Gambar 1, A dengan Gambar 2, B dengan Gambar 1, dan B dengan Gambar 2. Tim bisa membandingkan judul dengan mempertahankan Gambar 1, lalu mengulang perbandingan judul tersebut dengan Gambar 2. Tim juga bisa membandingkan gambar di bawah setiap judul. Empat sel ini menyediakan peluang perbandingan tersebut; keberadaannya tidak memastikan berapa banyak bukti yang terkumpul dalam setiap sel.

Kedua, kisi sebagian memuat A dengan Gambar 1, B dengan Gambar 1, dan B dengan Gambar 2. A dengan Gambar 2 tidak disertakan. Tim bisa membandingkan A dan B dengan mempertahankan Gambar 1. Secara terpisah, tim bisa membandingkan gambar dengan mempertahankan judul B. Sel yang tidak disertakan itu tidak menghapus dua perbandingan yang tersedia.

Namun, kisi sebagian menyisakan pertanyaan yang tidak bisa dijawab melalui perbandingan langsung empat sel: apakah perbedaan antara A dan B akan sama jika menggunakan Gambar 2? Tidak ada hasil A dengan Gambar 2 yang bisa digunakan. Tim juga tidak bisa menentukan versi terbaik dari keempat kemungkinan hanya dengan memilih di antara tiga versi yang diamati. Versi yang tidak diuji mungkin memberikan hasil berbeda.

Ketiga, rancangan diagonal hanya memuat A dengan Gambar 1 dan B dengan Gambar 2. Tidak ada elemen yang dipertahankan di antara kedua versi tersebut. Pengujian yang valid tetap bisa mendukung pemilihan salah satu dari dua versi utuh itu. Namun, perbandingan itu saja tidak bisa memisahkan kontribusi judul dari kontribusi gambar.

Tidak ada satu rancangan yang selalu paling baik. Jika studio harus memilih di antara dua konsep yang sudah disetujui untuk peluncuran tertentu, membandingkan versi utuh mungkin sesuai dengan kebutuhannya. Jika studio ingin menggunakan ulang satu judul dengan beberapa gambar, diperlukan bukti yang relevan dengan keputusan yang lebih luas itu. Kombinasi tambahan layak disertakan ketika menjawab pertanyaan yang memang dimiliki tim. ^[3]

Arsip ini menunjukkan perbedaan tersebut dengan jelas. Dari 106 rancangan yang memuat kedua jenis perbandingan, 74 tidak memiliki satu pun persegi panjang lengkap yang terdiri dari dua judul dan dua gambar. Jadi, suatu rancangan bisa menyediakan perbandingan judul di satu bagian dan perbandingan gambar di bagian lain tanpa memiliki empat sel yang diperlukan untuk membandingkan selisih keduanya secara langsung.

Perhatikan lagi kisi sebagian milik studio. Membandingkan A dan B dengan Gambar 1 menjawab satu pertanyaan. Membandingkan Gambar 1 dan Gambar 2 di bawah B menjawab pertanyaan lain. Keduanya tidak memberi tahu apakah perbedaan respons antara dua judul berubah ketika gambarnya berubah. Pertanyaan ketiga ini menyangkut interaksi: apakah hubungan antara satu elemen dan respons bergantung pada elemen lainnya.

Dalam kumpulan 188 rancangan, 32 memuat setidaknya satu persegi panjang lengkap. Ini mencakup seluruh 31 kisi lengkap dan satu kisi tidak lengkap yang lebih besar. Persegi panjang tersebut menyediakan susunan untuk menghitung perbandingan interaksi secara langsung. Keberadaannya tidak menunjukkan bahwa interaksi benar-benar terjadi, dan bukan satu-satunya dasar yang mungkin untuk mempelajari interaksi dengan rancangan atau asumsi pemodelan lain.

Bagi tim kampanye, perbedaan ini perlu masuk ke arahan kerja sebelum dimasukkan ke model statistik. “Bandingkan dua judul ini dengan gambar ini” adalah permintaan yang lebih sempit daripada “temukan judul yang cocok untuk berbagai gambar kami.” Hasil yang menjawab pertanyaan pertama tidak boleh begitu saja dianggap menjawab pertanyaan kedua.

Inventarisasi utama mengecualikan pengujian yang rentang tanggal pembuatannya bersinggungan dengan periode 25 Juni 2013 hingga 10 Januari 2014. Peneliti arsip mengidentifikasi kemungkinan masalah penempatan peserta selama periode tersebut. Masalah ini penting dalam penelitian sebab-akibat, tetapi tidak membuat catatan kombinasinya tidak bisa digunakan untuk inventarisasi struktur. Karena itu, kami juga mengulang perbandingan dengan menyertakan periode tersebut. ^[4]

Cakupan yang lebih luas memuat 239 pengujian yang mengubah kedua elemen. Empat puluh memuat seluruh kombinasi, sedangkan 199 tidak lengkap. Dari rancangan yang tidak lengkap tersebut, 180, atau 90,5%, masih memiliki setidaknya satu perbandingan dengan satu elemen tetap, dan 93, atau 46,7%, memiliki kedua jenisnya. Angka yang sepadan dalam cakupan utama adalah 95,5% dan 47,8%. Persentase tepatnya berubah, tetapi rancangan yang tidak lengkap tetap sering menyisakan perbandingan tertentu.

Kami juga memeriksa pilihan dalam pengolahan teks. Analisis utama membandingkan teks judul dan cuplikan secara persis. Setelah karakter whitespace (spasi, tab, dan baris baru) di awal dan akhir dihapus serta rangkaian whitespace di dalam teks diganti dengan satu spasi, terdapat 189 pengujian yang mengubah kedua elemen, dengan 31 kisi lengkap, 108 yang memuat kedua jenis perbandingan, dan 32 yang memuat persegi panjang lengkap. Pemeriksaan ini mengubah rancangan mana yang memenuhi kriteria, sehingga hitungannya ditampilkan dengan penyebut tersendiri. ^[5]

Median cakupan kombinasi adalah 50% dalam ketiga cakupan analisis. Cakupan kombinasi dihitung dengan membagi jumlah pasangan judul-gambar yang diamati dengan seluruh pasangan yang mungkin berdasarkan judul dan ID gambar di pengujian tersebut. Median ini merupakan deskripsi, bukan nilai mutu. Kombinasi yang tidak disertakan mungkin tidak relevan, tidak cocok, atau berada di luar perbandingan yang dimaksud editor; arsip ini tidak memastikan alasan penghilangannya.

Untuk studio keramik tadi, mulailah dengan menentukan apa yang akan dilakukan setelah pengujian. Apakah tim akan memilih satu materi promosi lokakarya yang utuh, mempertahankan satu gambar dan merevisi judulnya, atau memakai satu judul di beberapa rancangan mendatang? Setiap keputusan membutuhkan rangkaian perbandingan yang berbeda. Kisi yang lebih besar belum tentu lebih layak menghabiskan waktu dan tenaga tim.

Jika keputusannya menyangkut versi utuh, buat daftar versi tersebut tanpa menjanjikan penjelasan tentang setiap komponennya. Jika keputusannya menyangkut judul, tentukan gambar yang akan dipertahankan. Jika tim perlu memeriksa apakah perbedaan respons antarjudul berubah pada dua gambar, sertakan empat kombinasi yang relevan atau gunakan rancangan alternatif yang memiliki dasar memadai. Pisahkan langkah ini dari penentuan ukuran respons, alokasi peserta, dan periode pengamatan.

Periksa apakah kombinasi yang diusulkan masuk akal sebelum menambahkannya. Judul untuk penawaran tertentu mungkin hanya cocok dengan satu gambar produk. Membuat pasangan yang tidak cocok hanya untuk melengkapi kisi akan mengubah tugasnya. Tim bisa mempersempit pertanyaan atau mengembangkan versi yang memang cocok dipasangkan. Kisi lengkap berguna ketika perbandingannya mendukung keputusan, bukan karena tabel yang penuh terlihat lebih menyeluruh.

Gunakan kolom berikut sebagai arahan perencanaan singkat. Teks di dalam tanda kurung siku perlu diisi untuk kampanyemu sendiri, bukan merupakan temuan studi ini.

Keputusan setelah pengujian: [pilih satu versi utuh; bandingkan elemen yang disebutkan dalam konteks tertentu; periksa kombinasi elemen yang ditentukan].

Elemen dan versi: [teks judul yang persis; berkas gambar atau ID yang tetap; konten lain yang berubah].

Versi yang disertakan: [pasangan judul-gambar yang benar-benar akan ditampilkan].

Perbandingan yang dibutuhkan: [pasangan mana yang mempertahankan satu elemen; empat sel mana yang mendukung pertanyaan interaksi, jika relevan].

Rencana pengumpulan bukti: [ukuran respons; audiens dan penempatan peserta; kondisi paparan; rencana pengamatan dan aturan peninjauan].

Batas kesimpulan: [apa yang bisa didukung oleh rancangan; kombinasi atau konteks yang tidak diuji dan berada di luar keputusan].

Misalnya, studio yang menggunakan rancangan sebagian dengan tiga sel bisa menulis: “Kami akan membandingkan judul dengan Gambar 1 dan membandingkan gambar dengan judul B. Kami tidak menguji judul A dengan Gambar 2.” Kalimat ini memperjelas dua pertanyaan yang berguna dan perbandingan yang belum tersedia tanpa menyatakan bahwa rancangannya tidak memadai.

Kreator yang menyiapkan pekerjaan untuk klien bisa menggunakan pembedaan yang sama saat membahas revisi gambar mini dan judul. Pertanyaannya adalah versi atau elemen mana yang ingin dipilih klien. Namun, hitungan kami berasal dari situs web penerbit dan tidak menunjukkan bagaimana platform sosial saat ini membagi paparan atau mengukur variasi materi kampanye.

Sumbernya adalah berkas eksploratif Upworthy Research Archive yang dirilis untuk umum, sebagaimana dijelaskan oleh J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere, dan Charles Ebersole. Berkas ini memuat 22.666 baris versi materi yang dikelompokkan ke dalam 4.873 pengujian dari arsip historis 2013–2015. Kami menggunakan judul, pengenal gambar, cuplikan teks, pengenal pengujian, stempel waktu pembuatan, dan indeks baris arsip. Klik, impresi, dan pilihan editor tidak digunakan. ^{[1] [6]}

Pemeriksaan kelayakan struktur dilakukan sebelum rencana akhir audit rancangan dan membantu menentukan pertanyaannya. Karena itu, audit ini merupakan analisis ulang eksploratif, bukan studi konfirmatori yang dipraregistrasikan. Aturan yang ditetapkan mempertahankan pengujian dengan kolom struktur yang bisa digunakan, menerapkan pembatasan tanggal utama, dan mensyaratkan teks cuplikan yang identik pada seluruh versinya. Pembatasan cuplikan ini bersifat konservatif karena makalah dan dokumentasi arsip berbeda keterangan tentang apakah kolom tersebut ditampilkan. ^[6]

Tabel seleksi memperlihatkan pengecualian secara berurutan, lalu rincian pengujian yang memenuhi kriteria. Lima pengujian tidak memiliki judul atau ID gambar; berikutnya, 1.050 tidak memenuhi aturan tanggal dan 606 memiliki cuplikan yang bervariasi. Dari 3.212 pengujian yang dipertahankan, 1.624 hanya mengubah judul, 1.078 hanya mengubah ID gambar, 188 mengubah keduanya, dan 322 memiliki satu kombinasi yang diamati. Kategori terakhir tetap bisa memuat beberapa baris sumber.

Di dalam satu pengujian, pasangan judul-gambar identik yang berulang dihitung sebagai satu sel rancangan. Lima dari 188 pengujian yang mengubah kedua elemen memuat sel berulang. Kisi lengkap mencakup setiap pasangan teks judul dan ID gambar yang diamati dalam pengujian itu. Teks berbeda belum tentu menyampaikan gagasan berbeda, dan ID gambar berbeda belum tentu mewakili gambar yang tampak berbeda; berkas gambarnya tidak tersedia.

Hasilnya memberi bobot yang sama pada setiap rancangan, bukan pada orang, impresi, atau bisnis. Hasil ini tidak membuktikan praktik pemasaran saat ini, kinerja, atau daya statistik. Unduhan menyediakan hasil agregat dan metode reproduksi, termasuk kedua pemeriksaan cakupan, agar pembaca bisa menelaah perbedaan antara kombinasi yang diamati dan kesimpulan yang ditarik darinya. ^[7]