Ujian multivariat: apa yang boleh anda pelajari daripada ujian bahan kempen

Kami meneliti padanan tajuk dan imej dalam setiap ujian laman web Upworthy. Daripada 3,212 ujian yang memenuhi peraturan skop utama, 188 mengubah kedua-dua elemen. Kebanyakan ujian yang lain hanya mengubah satu elemen. Kami mengekalkan setiap ujian secara berasingan dan mengiranya sekali sahaja, tanpa mengambil kira berapa ramai orang yang mungkin melihatnya. ^[2]

Hanya 31 daripada 188 ujian mengandungi setiap padanan tajuk dan ID imej yang diperhatikan di dalamnya. Sebanyak 157 yang lain membentuk grid tidak lengkap. Ini kedengaran terbatas sehinggalah kita meneliti perbandingan yang masih tersedia dalam grid tersebut. Daripada 157 reka bentuk itu, 75 mempunyai perbandingan tajuk menggunakan imej yang sama serta perbandingan imej menggunakan tajuk yang sama. Sebanyak 30 lagi hanya mempunyai jenis pertama, manakala 45 hanya jenis kedua. Tujuh tidak mempunyai perbandingan tajuk mahupun perbandingan imej.

Secara keseluruhan, 150 daripada 157 reka bentuk yang tidak lengkap, atau 95.5%, mengekalkan sekurang-kurangnya satu cara untuk membandingkan satu elemen sambil mengekalkan elemen yang lain. Ini tidak membuktikan bahawa mana-mana perbandingan mempunyai trafik yang mencukupi, pengagihan peserta yang betul atau hasil yang bermakna. Namun, ia menunjukkan mengapa alasan “tidak semua padanan diuji” terlalu umum untuk terus menolak sesuatu reka bentuk.

Jadual ini menggabungkan reka bentuk lengkap dan tidak lengkap. Daripada semua 188 ujian, 106 mengandungi kedua-dua jenis perbandingan, 30 hanya perbandingan tajuk, 45 hanya perbandingan imej dan tujuh tidak mengandungi perbandingan tajuk mahupun perbandingan imej. “Kedua-duanya” bermaksud sekurang-kurangnya satu bagi setiap jenis. Ia tidak bermaksud setiap tajuk atau imej boleh dibandingkan dalam keadaan yang setara.

Makalah asal arkib ini sudah menerangkan bahawa editor kerap memilih versi bahan tanpa menguji setiap padanan yang mungkin. Sumbangan kami ialah inventori perbandingan yang masih tersedia hasil pilihan tersebut. Kami tidak dapat membina semula tujuan setiap editor atau menilai sama ada reka bentuk itu memenuhi tujuannya. ^[1]

Bayangkan sebuah studio tembikar mempromosikan bengkel hujung minggu. Studio itu mempunyai dua tajuk: A, “Buat mangkuk seramik pertama anda,” dan B, “Luangkan hari Sabtu dengan membentuk tembikar di roda putar.” Imej 1 menunjukkan mangkuk yang sudah siap; Imej 2 menunjukkan roda putar. Ini ialah pilihan ilustrasi, bukan contoh Upworthy atau hasil kempen yang diukur. Kekalkan tawaran dan teks lain yang dipaparkan semasa mempertimbangkan tiga reka bentuk yang mungkin.

Pertama, grid lengkap mengandungi A dengan Imej 1, A dengan Imej 2, B dengan Imej 1 dan B dengan Imej 2. Pasukan boleh membandingkan tajuk sambil mengekalkan Imej 1, kemudian mengulangi perbandingan tajuk yang sama dengan Imej 2. Pasukan juga boleh membandingkan imej di bawah setiap tajuk. Empat sel memberikan peluang ini; ia tidak menentukan berapa banyak bukti yang akan dikumpulkan dalam setiap sel.

Kedua, grid separa mengandungi A dengan Imej 1, B dengan Imej 1 dan B dengan Imej 2. A dengan Imej 2 tidak disertakan. Pasukan boleh membandingkan A dan B sambil mengekalkan Imej 1. Secara berasingan, pasukan boleh membandingkan imej sambil mengekalkan tajuk B. Sel yang tiada itu tidak menghapuskan dua perbandingan tersebut.

Namun, grid separa meninggalkan satu lagi soalan yang tidak dapat dijawab melalui perbandingan langsung empat sel: adakah perbezaan antara A dengan B akan sama apabila menggunakan Imej 2? Tiada hasil A dengan Imej 2 untuk digunakan. Pasukan juga tidak boleh mengenal pasti versi terbaik daripada keempat-empat kemungkinan hanya dengan memilih antara tiga versi yang diperhatikan. Versi yang tidak diuji mungkin memberikan hasil yang berbeza.

Ketiga, reka bentuk pepenjuru hanya mengandungi A dengan Imej 1 dan B dengan Imej 2. Kedua-dua elemen berubah antara dua versi itu. Ujian yang sah masih boleh menyokong pemilihan antara dua versi siap tersebut. Namun, perbandingan itu sahaja tidak dapat mengenal pasti sumbangan tajuk atau imej secara berasingan.

Tiada satu reka bentuk yang sentiasa terbaik. Jika studio mesti memilih antara dua konsep yang sudah diluluskan untuk pelancaran tertentu, membandingkan versi lengkap mungkin sesuai dengan tugasnya. Jika studio mahu menggunakan semula satu tajuk merentas imej, ia memerlukan bukti yang berkaitan dengan pilihan yang lebih luas itu. Padanan tambahan wajar disertakan apabila ia menjawab soalan yang benar-benar dimiliki pasukan. ^[3]

Arkib ini menjelaskan perbezaan tersebut. Daripada 106 reka bentuk yang mengandungi kedua-dua jenis perbandingan, 74 tidak mempunyai walaupun satu segi empat tepat lengkap dengan dua tajuk dan dua imej. Oleh itu, reka bentuk boleh menyediakan perbandingan tajuk di satu bahagian dan perbandingan imej di bahagian lain tanpa membekalkan empat sel yang diperlukan untuk membandingkan perbezaannya secara langsung.

Pertimbangkan semula grid separa studio itu. Membandingkan A dengan B menggunakan Imej 1 menjawab satu soalan. Membandingkan Imej 1 dengan Imej 2 di bawah B menjawab soalan lain. Kedua-duanya tidak memberitahu sama ada perbezaan respons antara dua tajuk berubah apabila imej ditukar. Soalan ketiga ini berkaitan dengan interaksi: sama ada hubungan antara satu elemen dengan respons bergantung pada elemen yang lain.

Dalam set 188 reka bentuk, 32 mengandungi sekurang-kurangnya satu segi empat tepat lengkap. Ini merangkumi semua 31 grid lengkap dan satu grid tidak lengkap yang lebih besar. Segi empat tepat itu membekalkan susunan untuk membuat perbandingan interaksi secara langsung. Ia tidak menunjukkan bahawa interaksi wujud, dan bukan satu-satunya asas yang mungkin untuk mengkaji interaksi dengan reka bentuk atau andaian pemodelan lain.

Bagi pasukan kempen, perbezaan ini patut dimasukkan ke dalam ringkasan kerja sebelum dimasukkan ke dalam model statistik. “Bandingkan dua tajuk ini dengan imej ini” ialah permintaan yang lebih khusus daripada “cari tajuk yang sesuai untuk pelbagai imej kami.” Hasil yang menjawab soalan pertama tidak sepatutnya terus dianggap menjawab soalan kedua.

Inventori utama mengecualikan ujian yang rentang tarikh penciptaannya bertindih dengan tempoh 25 Jun 2013 hingga 10 Januari 2014. Penyelidik arkib mengenal pasti kemungkinan masalah pengagihan peserta dalam tempoh tersebut. Kebimbangan ini penting untuk kajian sebab-akibat; ia tidak menjadikan rekod padanan tidak boleh digunakan bagi inventori struktur. Oleh itu, kami turut mengulangi perbandingan dengan menyertakan tempoh tersebut. ^[4]

Skop yang lebih luas mengandungi 239 ujian yang mengubah kedua-dua elemen. Empat puluh mengandungi setiap padanan, manakala 199 tidak lengkap. Daripada reka bentuk yang tidak lengkap itu, 180, atau 90.5%, mengekalkan sekurang-kurangnya satu perbandingan dengan satu elemen tetap, dan 93, atau 46.7%, mengekalkan kedua-dua jenis. Angka sepadan bagi skop utama ialah 95.5% dan 47.8%. Bahagian tepatnya berubah, tetapi reka bentuk yang tidak lengkap masih lazimnya mengekalkan perbandingan tertentu.

Kami juga menyemak satu pilihan pengendalian teks. Analisis utama membandingkan teks tajuk dan petikan secara tepat. Membuang aksara whitespace (ruang, tab dan baris baharu) di awal dan akhir serta menggantikan rentetan whitespace dalaman dengan satu ruang menghasilkan 189 ujian yang mengubah kedua-dua elemen, dengan 31 grid lengkap, 108 mengandungi kedua-dua jenis perbandingan dan 32 mengandungi segi empat tepat lengkap. Semakan ini mengubah reka bentuk yang layak, maka kiraannya dipaparkan dengan penyebut tersendiri. ^[5]

Median liputan padanan ialah 50% dalam ketiga-tiga skop. Liputan ialah bilangan padanan tajuk-imej yang diperhatikan dibahagikan dengan bilangan padanan yang mungkin berdasarkan tajuk dan ID imej yang diperhatikan dalam ujian tersebut. Median ialah penerangan, bukan markah kualiti. Padanan yang tidak disertakan mungkin tidak relevan, tidak sesuai atau di luar perbandingan yang dimaksudkan editor; arkib ini tidak menentukan sebab ia ditinggalkan.

Bagi studio tembikar tadi, mulakan dengan menentukan tindakan selepas ujian. Adakah pasukan akan memilih satu promosi bengkel yang siap, mengekalkan satu imej dan menyemak tajuknya, atau menggunakan satu tajuk dalam beberapa reka bentuk akan datang? Setiap keputusan memerlukan set perbandingan yang berbeza. Grid yang lebih besar tidak semestinya lebih berbaloi dengan usaha pasukan.

Jika keputusan melibatkan versi siap, senaraikan versi itu tanpa menjanjikan penjelasan tentang setiap komponennya. Jika keputusan melibatkan tajuk, tentukan imej yang akan dikekalkan. Jika pasukan perlu meneliti sama ada perbezaan respons antara tajuk berubah merentas dua imej, sertakan empat padanan yang berkaitan atau dapatkan reka bentuk alternatif yang berasas. Asingkan langkah ini daripada penentuan ukuran respons, pengagihan peserta dan tempoh pemerhatian.

Semak sama ada padanan yang dicadangkan masuk akal sebelum menambahkannya. Tajuk bagi tawaran tertentu mungkin hanya sesuai dengan satu imej produk. Menghasilkan padanan yang tidak sesuai semata-mata untuk memenuhi grid akan mengubah tugas. Pasukan boleh mengecilkan skop soalan atau menghasilkan versi yang sesuai dipadankan. Grid lengkap berguna apabila perbandingannya membantu keputusan, bukan kerana jadual penuh kelihatan lebih menyeluruh.

Gunakan medan berikut sebagai ringkasan perancangan pendek. Teks dalam kurungan siku adalah untuk kempen anda sendiri, bukan dapatan kajian ini.

Keputusan selepas ujian: [pilih versi siap; bandingkan elemen yang dinamakan dalam keadaan tertentu; teliti gabungan elemen yang ditetapkan].

Elemen dan versi: [teks tajuk yang tepat; fail imej atau ID yang kekal; kandungan lain yang berubah].

Versi yang disertakan: [padanan tajuk-imej yang benar-benar akan dipaparkan].

Perbandingan yang diperlukan: [pasangan mana mengekalkan satu elemen; empat sel mana menyokong soalan interaksi, jika berkaitan].

Pelan bukti: [ukuran respons; khalayak dan pengagihan peserta; keadaan pendedahan; rancangan pemerhatian dan peraturan semakan].

Batas kesimpulan: [apa yang boleh disokong oleh reka bentuk; padanan atau keadaan yang tidak diuji dan masih di luar keputusan].

Contohnya, studio yang menggunakan reka bentuk separa tiga sel boleh menulis: “Kami akan membandingkan tajuk dengan Imej 1 dan membandingkan imej dengan tajuk B. Kami tidak menguji tajuk A dengan Imej 2.” Ayat ini menjelaskan dua soalan yang berguna serta perbandingan yang tiada tanpa mengisytiharkan reka bentuk itu tidak memadai.

Pencipta kandungan yang menyediakan kerja untuk pelanggan boleh menggunakan perbezaan yang sama semasa membincangkan thumbnail dan tajuk yang disemak. Soalannya ialah versi atau elemen mana yang mahu dipilih oleh pelanggan. Walau bagaimanapun, kiraan kami berasal daripada laman web penerbit dan tidak menjelaskan cara platform sosial semasa mengagihkan atau mengukur variasi bahan kempen.

Sumbernya ialah fail penerokaan Upworthy Research Archive yang dikeluarkan kepada umum, seperti yang dihuraikan oleh J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere dan Charles Ebersole. Fail ini mengandungi 22,666 baris versi bahan yang dikelompokkan kepada 4,873 ujian daripada arkib sejarah 2013–2015. Kami menggunakan tajuk, pengecam imej, petikan, pengecam ujian, cap masa penciptaan dan indeks baris arkib. Klik, teraan dan pilihan editorial tidak digunakan. ^{[1] [6]}

Semakan kebolehlaksanaan struktur dibuat sebelum pelan akhir audit reka bentuk dan membantu membentuk soalannya. Oleh itu, audit ini ialah analisis semula penerokaan, bukan kajian pengesahan yang dipradaftarkan. Peraturan yang ditetapkan mengekalkan ujian dengan medan struktur yang boleh digunakan, menggunakan sekatan tarikh utama dan memerlukan teks petikan yang sama tepat dalam semua versinya. Sekatan petikan ini konservatif kerana makalah dan dokumentasi arkib berbeza keterangan tentang sama ada medan itu dipaparkan. ^[6]

Jadual pemilihan menunjukkan pengecualian berturutan, diikuti pecahan ujian yang layak. Lima ujian tidak mempunyai tajuk atau ID imej; kemudian 1,050 tidak memenuhi peraturan skop tarikh dan 606 mempunyai petikan yang berbeza. Sebanyak 3,212 ujian yang dikekalkan merangkumi 1,624 yang hanya mengubah tajuk, 1,078 yang hanya mengubah ID imej, 188 yang mengubah kedua-duanya dan 322 dengan satu padanan yang diperhatikan. Kategori terakhir masih boleh mengandungi beberapa baris sumber.

Dalam satu ujian, pasangan tajuk-imej yang sama dan berulang dikira sekali sebagai sel reka bentuk. Lima daripada 188 ujian yang mengubah kedua-dua elemen mengandungi sel berulang. Grid lengkap mengandungi setiap padanan teks tajuk dan ID imej yang diperhatikan dalam ujian tersebut. Teks yang berlainan tidak semestinya menyampaikan idea berlainan, dan ID imej berlainan tidak semestinya mewakili gambar yang kelihatan berbeza; fail imej tidak tersedia.

Hasil ini memberikan berat yang sama kepada setiap reka bentuk, bukan orang, teraan atau perniagaan. Ia tidak membuktikan amalan pemasaran semasa, prestasi atau kuasa statistik. Bahan muat turun menyediakan hasil agregat dan kaedah penghasilan semula, termasuk kedua-dua semakan skop, supaya pembaca boleh meneliti perbezaan antara padanan yang diperhatikan dengan kesimpulan yang dibuat daripadanya. ^[7]