Merchandising ecommerce: uji asumsi tentang posisi produk

Perbandingan kartu produk seharusnya membantu memisahkan produk yang ditawarkan dari cara penyajiannya. Jika satu produk biasanya muncul pertama dan produk lain biasanya muncul terakhir, total hasilnya saja tidak menjawab apakah pembeli lebih menyukai salah satu penawaran.

Pendekatan sederhana yang kami uji memberikan penyesuaian yang sama pada skor preferensi dasar model untuk setiap langkah ke bawah dalam daftar. Pertanyaan yang berguna adalah apakah cara itu cukup baik memprediksi pilihan, dibandingkan membiarkan tiap posisi memiliki penyesuaian berbeda.

Kami menguji kedua pendekatan dengan eksperimen pemilihan buku yang telah dirilis. Hasilnya relevan bagi bisnis dan kreator yang membandingkan produk di halaman koleksi atau etalase digital. Studi ini menyediakan cara memeriksa asumsi pengukuran, bukan aturan untuk menentukan tempat produk terlaris.

Ini penting ketika penawaran muncul di lebih dari satu tempat. Kreator bisa menampilkan unduhan yang sama di halaman koleksi dan halaman peluncuran. Peritel bisa mengubah urutan daftar kategori. Produk, harga, audiens, dan penyajian dapat berubah bersamaan. Penyesuaian posisi adalah asumsi tentang salah satu bagian perbandingan itu, dan perlu diperiksa tersendiri.

Giovanni Compiani, Ilya Morozov, dan Stephan Seiler meminta peserta yang direkrut melalui Prolific membuat pilihan hipotetis dari sepuluh e-book, dengan urutan dan harga yang diacak. Peserta harus memilih sebuah buku; tidak ada pilihan untuk tidak membeli apa pun. Kami memakai tugas pertama dalam setiap isian yang dipertahankan, bukan tugas berikutnya yang menghapus buku terpilih.^[1]

Penulis aslinya sudah melaporkan respons terhadap posisi dan harga. Riset mereka yang lebih luas mempelajari bagaimana teks dan gambar membantu memperkirakan substitusi produk. Pertanyaan kami lebih sempit: apakah mengganti satu komponen posisi meningkatkan prediksi pada peserta yang pilihannya tidak dipakai untuk melatih model?

Aturan kelayakan asli menyisakan 9.265 isian dengan 9.264 ID peserta Prolific yang berbeda. Satu ID muncul dua kali. Kami tetap mengelompokkan kedua isian itu dan memberi peserta tersebut bobot total yang sama dengan peserta lain. Satu isian tidak otomatis berarti orang yang berbeda, dan tugas pertama belum tentu merupakan pengalaman pertama orang itu dengan eksperimen ini.^[2][3]

Tanggal dalam catatan sumber yang dipertahankan mencakup 11 hingga 26 Juni 2024. Naskah penelitian menyebut 14–27 Juni, sehingga kami mengungkapkan perbedaannya dan tidak mengecualikan catatan berdasarkan tanggal. Kelayakan negara dan usia tidak dapat dipastikan dari materi yang ditinjau; hasil ini bukan perkiraan untuk pembeli di Amerika Serikat atau populasi nasional lainnya.^[1][2]

Model posisi yang fleksibel lebih baik memprediksi pilihan kelompok uji menurut ukuran penilaian yang telah ditentukan sebelumnya. Kedua model memperhitungkan buku yang ditawarkan dan harga yang ditampilkan. Perbedaannya hanya terletak pada cara mewakili posisi.

Model dasar memakai satu koefisien untuk setiap langkah ke bawah dalam daftar. Model fleksibel memakai penyesuaian tersendiri untuk posisi kedua sampai kesepuluh, relatif terhadap posisi pertama. Cara ini memberi lebih banyak keleluasaan, tetapi juga lebih banyak parameter yang harus diestimasi. Kecocokan yang lebih baik dengan data pelatihannya sendiri belum cukup untuk menentukan hasil perbandingan.

Karena itu, kami melatih kedua model dengan 6.176 peserta dan mengevaluasinya pada 3.088 peserta lain. Semua isian dari peserta yang sama tetap berada dalam kelompok yang sama. Kelompok uji memuat 3.089 isian karena mencakup peserta yang muncul dua kali.

Untuk membandingkan prediksi, kami memakai skor log negatif. Model mendapat penalti lebih kecil jika memberi probabilitas lebih besar pada pilihan yang benar-benar dibuat seseorang. Model mendapat penalti lebih besar jika memberi probabilitas sangat kecil pada pilihan tersebut. Rata-rata skor log negatif yang lebih rendah berarti lebih baik.

Rata-rata pada kelompok uji adalah 2,2260 untuk model dasar dan 2,2154 untuk model fleksibel, dalam satuan logaritma natural, atau nats. Ini adalah skor prediksi, bukan persentase jawaban benar. Skor pelatihan dan pengujian ditampilkan bersama agar perbandingan tidak bergantung pada tugas yang lebih mudah, yaitu menjelaskan data yang sudah dilihat model.

Peningkatan berpasangan mencapai 0,0106 nats per peserta, dengan perkiraan interval 95% dari 0,0044 hingga 0,0168. Di sini, peningkatan positif mendukung model fleksibel. Hasilnya kecil pada skala penilaian ini, tetapi seluruh interval berada di atas nol.^[4]

Interval ini memperlakukan kedua model yang telah dilatih sebagai tetap dan mengasumsikan kelompok peserta yang independen. Interval tidak mencakup ketidakpastian jika model dilatih pada sampel pelatihan lain. Temuan ini mendukung peningkatan prediksi dalam tugas terdahulu yang telah diseleksi ini; selisih skor tersebut tidak berarti kenaikan penjualan.

Perbandingan seluruh posisi menunjukkan mengapa skor keseluruhan perlu disertai rincian. Untuk setiap posisi, kami membandingkan proporsi pilihan yang diamati dengan rata-rata probabilitas dari setiap model. Ini adalah rata-rata dengan bobot peserta yang sama dalam kelompok uji, bukan rasio klik-tayang.

Pada posisi pertama, proporsi yang diamati adalah 17,16%. Model dasar memprediksi 14,64%, sedangkan model fleksibel memprediksi 17,73%. Pada posisi kesepuluh, proporsi yang diamati adalah 9,18%, dibandingkan prediksi 6,37% dan 8,74%. Model fleksibel lebih mendekati hasil pada kedua ujung daftar khusus ini.

Model fleksibel tidak lebih mendekati hasil di semua posisi. Pada posisi keempat, proporsi yang diamati adalah 10,91%. Model dasar memprediksi 11,21%, sedangkan model fleksibel memprediksi 9,26%. Fleksibilitas tambahan meningkatkan skor kelompok uji secara keseluruhan, tetapi menyisakan selisih yang lebih besar pada posisi itu.

Tabel berikut menunjukkan proporsi yang diamati dikurangi prediksi. Selisih positif berarti model memprediksi terlalu sedikit pilihan pada posisi itu; selisih negatif berarti terlalu banyak. Menampilkan seluruh sepuluh posisi mencegah hasil yang terlihat bagus di salah satu ujung menggantikan perbandingan lengkap.

Baris-baris posisi ini bersifat deskriptif, tanpa klaim signifikansi tersendiri. Eksperimen tidak mengukur gerakan mata atau perhatian, dan analisis ini tidak menjelaskan penyebab perbedaan suatu posisi. Pola melengkung pada proporsi yang diamati juga tidak dengan sendirinya membantah model dasar: komponen posisinya linear pada skor preferensi dasar model, bukan pada persentase pilihan.

Sekadar mengurangkan proporsi yang diamati pada posisi pertama dan terakhir akan menjawab pertanyaan berbeda. Proporsi itu merangkum pilihan pada berbagai produk dan harga. Kedua model memperhitungkan identitas buku dan harga sebelum menetapkan probabilitas pada sepuluh pilihan. Selisih antarkedua ujung maupun perbandingan model tidak menjelaskan apa yang akan terjadi jika kamu memindahkan produk tertentu di toko yang benar-benar beroperasi.

Sebelum membandingkan penawaran, tulis rencana pengukuran singkat. Templat berikut bisa dipakai tanpa mendaftar dan bersifat ilustratif. Templat ini menerapkan pelajaran studi tentang memeriksa asumsi; tidak menjanjikan bahwa model yang sama akan cocok untuk etalasemu.

Keputusan: “Kami perlu memutuskan [perbandingan produk atau perubahan penyajian] untuk [halaman atau kampanye] selama [periode].” Sebutkan keputusan sebelum memilih metrik yang menguntungkan.

Hasil: “Kami akan mengukur [pilihan, klik, penambahan ke keranjang, atau pembelian].” Pilih hasil yang benar-benar didukung catatanmu. Simpan juga alternatif yang ditawarkan, urutannya, dan harga yang ditampilkan. Hasil pilihan wajib harus tetap dibedakan dari hasil pembelian.

Unit: “Unit kami adalah [peserta atau unit lain yang jelas]. Kunjungan atau isian berulang akan ditangani dengan [aturan].” Kelompokkan pengamatan dari orang yang sama saat mengevaluasi prediksi untuk orang baru. Jangan menganggap ID sesi anonim sebagai bukti orang yang unik.

Perbandingan: “Kedua model akan memakai produk, informasi harga, dan pengamatan yang memenuhi syarat yang sama. Perbedaannya terletak pada [asumsi posisi].” Tentukan alternatif sederhana sekaligus alternatif yang lebih fleksibel.

Evaluasi: “Kami akan menyisihkan [kelompok yang ditentukan] sebelum pelatihan dan membandingkan [ukuran penilaian yang disebutkan]. Kami akan menampilkan semua posisi.” Tentukan cara melaporkan hasil yang belum jelas atau lebih buruk sebelum melihatnya.

Penggunaan: “Hasil ini akan membantu [keputusan pengukuran]. Bukti tentang [hasil komersial yang tidak diukur di sini] masih diperlukan sebelum [keputusan komersial].” Kalimat terakhir ini mencegah latihan prediksi diam-diam berubah menjadi perkiraan pendapatan.

Bayangkan kreator fiktif yang menjual buku latihan menulis, lokakarya, dan paket gabungan. Paket gabungan muncul di bagian teratas halaman peluncuran dan mendapat klik terbanyak. Kreator itu sedang mempertimbangkan untuk menulis ulang deskripsi produk lainnya.

Rencana pengukuran mengubah pertanyaan awal. Hasil yang diamati adalah klik, bukan penjualan. Catatan yang tersedia perlu menunjukkan penawaran yang ditampilkan, urutannya, dan harganya. Jika paket gabungan selalu menempati posisi pertama, catatan itu tidak dapat memisahkan paket tersebut dari posisinya dengan jelas.

Rencana kreator yang sudah diisi bisa berbunyi: “Kami ingin mengetahui apakah cara kami memperhitungkan posisi bisa memprediksi klik pengunjung baru. Kami akan membandingkan penawaran dan informasi harga yang sama, mengelompokkan pengamatan berulang, dan melaporkan perbandingan seluruh posisi. Kami tidak akan membuat klaim pembelian berdasarkan catatan klik.” Ini contoh fiktif pertanyaan pengukuran, bukan usulan hasil.

Langkah berikutnya yang masuk akal adalah merencanakan perbandingan dengan variasi yang cukup untuk membedakan produk dan posisi, sambil mempertahankan definisi hasil yang sama. Kreator kemudian bisa membandingkan penyesuaian posisi sederhana dengan yang lebih fleksibel pada kelompok yang disisihkan. Ini akan menjadi studi baru tentang halaman tersebut; eksperimen buku tidak menyediakan perkiraan rasio klik untuknya.

Jika pendekatan fleksibel lebih baik memprediksi kelompok yang disisihkan, kreator memiliki alasan untuk meninjau kembali cara laporan memperhitungkan penempatan. Itu tetap tidak membuktikan bahwa memindahkan paket gabungan akan meningkatkan pendapatan. Keputusan komersial memerlukan bukti tentang perubahan penyajian yang sebenarnya dan hasil yang penting bagi bisnis.

Jika perbandingannya belum menghasilkan kesimpulan, kreator perlu menyatakannya. Fleksibilitas tambahan tidak otomatis menjadi alat bisnis yang lebih baik. Manfaat praktisnya adalah urutan kerja yang lebih jelas: pahami apa yang dapat dipisahkan oleh catatan, uji asumsi pengukuran, lalu tentukan apakah eksperimen lain diperlukan.

Kami memakai rilis respons yang telah diedit oleh penulis dan aturan seleksi asli. Sebanyak 553 catatan pilot atau uji pertama dikeluarkan berdasarkan posisi tetapnya dalam berkas. Kerangka data yang tersisa berisi 10.775 isian. Penyaringan pemahaman menyisakan 9.344; penyaringan penyelesaian menyisakan 9.265.^[2]

Persetujuan, status selesai, dan aturan durasi minimal 60 detik tidak menghapus isian tambahan pada tahap masing-masing. Penyelesaian dan durasi merupakan penyaringan setelah paparan, sehingga kelompok yang dipertahankan adalah sampel terseleksi.

ID peserta Prolific menentukan kelompok. Pembagian berdasarkan hash deterministik menempatkan dua pertiga kelompok dalam pelatihan dan sisanya dalam pengujian, tanpa memakai pilihan mereka. Di dalam setiap kelompok, semua isian tugas pertama yang dipertahankan mendapat bagian yang sama dari kontribusi peserta itu. Pembobotan yang sama berlaku untuk pelatihan, penilaian, dan tabel posisi.^[3]

Kedua model merupakan logit multinomial tanpa penalti, dengan sembilan indikator buku dan satu komponen harga linear. Model dasar menambahkan satu komponen posisi linear, sehingga memiliki 11 parameter. Model fleksibel menambahkan sembilan indikator posisi, sehingga memiliki 19 parameter. Posisi pertama dan ID produk dengan nilai numerik terkecil menjadi kategori acuan. Semua rangkaian pilihan yang memenuhi syarat berisi sepuluh produk yang sama; kesesuaian ID, harga, dan posisi terpilih telah diperiksa.

Kami melatih model pada kelompok pelatihan, mempertahankan koefisien hasilnya, lalu menilai pilihan kelompok uji. Interval memakai simpangan baku selisih skor berpasangan per peserta, 3.088 unit peserta, dan 3.087 derajat kebebasan. Ini adalah pendekatan interval Student-t, kecuali jika asumsi skor normal yang diperlukan untuk hasil eksak terpenuhi. Seluruh sepuluh perbandingan posisi tetap bersifat deskriptif.^[4]

Pengoptimal utama model dasar mengeluarkan peringatan numerik. Meski demikian, hasilnya memenuhi semua syarat akurasi yang ditetapkan sebelum pelatihan, termasuk perbandingan dengan titik awal kedua. Kami mempertahankan hasil asli itu; diagnostik terperinci disertakan dalam materi reproduksi.^[5]

Unduhan menyediakan hasil yang ditampilkan, kode analisis orisinal, dan keluaran numerik agregat. Baris respons sumber, ID peserta, dan ilustrasi buku tidak disertakan. Dapatkan data sumber secara terpisah dari rilis penulis. Influence IQ bertanggung jawab atas analisis ulang ini dan penafsirannya.