Komen resipi mana yang patut anda baca untuk mendapatkan maklum balas?

Pencipta resipi yang menyediakan kandungan susulan perlu menentukan perkara yang dibaca terlebih dahulu. Komen dengan undi positif terbanyak mungkin kelihatan seperti jalan pintas yang berguna. Komen terkini menawarkan satu lagi cara untuk menyertai perbincangan. Kedua-duanya mendahulukan sesetengah komen, tetapi tiada satu pun secara automatik menggambarkan keseluruhan perbincangan.

Kami menguji soalan khusus itu menggunakan 18,182 komen yang diarkibkan bagi 100 resipi Taste of Home terpilih dengan penilaian tinggi, dalam set data awam yang diterbitkan melalui UCI pada 2023. Bagi setiap resipi, kami membandingkan sepuluh komen yang dipilih mengikut undi positif, sepuluh mengikut masa dicipta dan sepuluh yang dipilih secara rawak. Rujukannya ialah taburan penilaian semua komen yang diarkibkan bagi resipi tersebut. ^[1]

Purata nilai jangkaan perbezaan daripada taburan penilaian penuh ialah 18.7 mata peratusan bagi pemilihan mengikut undi positif, 20.3 bagi komen terkini dan 16.5 bagi pemilihan rawak. Setiap resipi diberi wajaran yang sama dalam purata tersebut, tanpa mengira bilangan komennya. ^[4]

Berbanding pemilihan rawak, perbezaannya lebih besar sebanyak 2.2 mata peratusan bagi undi positif dan 3.8 mata bagi komen terkini. Perbezaan ini berkaitan taburan penilaian dan komen tanpa penilaian. Kami tidak mengukur komen mana yang memberikan nasihat memasak terbaik, penjelasan paling jelas atau idea perniagaan paling berguna.

Perbezaan itu penting bagi pencipta kandungan makanan atau pengurus komuniti. Sesuatu komen boleh cukup bernilai untuk mencetuskan idea tutorial tanpa mencerminkan perbincangan secara umum. Menggunakannya sebagai contoh berbeza daripada menganggap senarai pendek sebagai rumusan.

Bayangkan setiap perbincangan resipi sebagai taburan enam kategori: satu hingga lima bintang, serta komen tanpa penilaian. Sampel sepuluh komen mempunyai taburannya sendiri. Kami mengukur sejauh mana taburan yang lebih kecil itu berbeza daripada keseluruhan perbincangan yang diarkibkan, menggunakan ukuran jarak antara taburan yang dikenali sebagai total variation distance.

Berikut ialah contoh hipotesis dengan hanya dua kategori. Katakan separuh komen memberikan empat bintang dan separuh lagi memberikan lima bintang. Jika pilihan sepuluh komen mengandungi tujuh komen berbintang empat dan tiga berbintang lima, taburannya ialah 70% berbanding 30%, bukannya 50% berbanding 50%. Jaraknya ialah 20 mata peratusan: separuh daripada jumlah dua perbezaan mutlak yang masing-masing bernilai 20 mata.

Pengiraan yang sama boleh digunakan untuk kesemua enam kategori. Nilai yang lebih kecil bermaksud taburannya lebih hampir dengan komposisi penilaian arkib. Ia tidak bermaksud penulisannya lebih bermaklumat atau komen tersebut lebih benar. Hasil 18.7 mata juga tidak bermakna 18.7% komen itu salah.

Kami mengekalkan komen tanpa penilaian dalam perbandingan. UCI mentakrifkan sifar dalam medan penilaian sebagai tiada penilaian, bukan skor di bawah satu bintang. Mengeluarkan komen tersebut akan mengubah perbincangan yang dirumuskan. Kategori angka sahaja tidak boleh memberitahu kita sama ada komen tanpa penilaian mengandungi soalan, pujian, masalah atau perkara lain. ^[1]

Perbandingan keseluruhan tidak menghasilkan satu kaedah yang sentiasa menang. Pemilihan mengikut undi positif mempunyai nilai jangkaan perbezaan yang lebih kecil berbanding pemilihan rawak bagi 46 daripada 100 resipi, dan lebih besar bagi 54 resipi. Pemilihan komen terkini lebih hampir bagi 42 resipi dan lebih jauh bagi 58 resipi. Tiada keputusan yang sama tepat dalam kedua-dua perbandingan. ^[4]

Ini ialah perbandingan nilai jangkaan perbezaan setiap kaedah dalam resipi yang sama. Ia tidak bermaksud setiap kemungkinan cabutan rawak mengatasi pemilihan mengikut undi positif dalam 54 perbincangan tersebut. Satu cabutan tertentu yang mengandungi sepuluh komen mungkin secara kebetulan menyerupai keseluruhan perbincangan dengan rapat atau terlepas sebahagian daripadanya.

Hasil rawak ialah purata bagi semua kemungkinan sampel sepuluh komen, dengan setiap sampel mempunyai kebarangkalian yang sama. Ia bukan hasil satu cabutan bertuah atau nilai permulaan penjana rawak yang dipilih. Kami juga mengambil purata bagi kemungkinan pemilihan apabila beberapa komen mempunyai bilangan undi positif atau cap masa yang sama pada sempadan pemilihan.

Nilai seri pada sempadan pemilihan memerlukan pengiraan purata bagi 70 resipi untuk pemilihan mengikut undi positif dan empat resipi untuk komen terkini. Kami tidak mengutamakan mana-mana komen yang mempunyai nilai sama berdasarkan penulis, kedudukan baris atau pengecamnya. Pengiraan ini menilai apa yang berlaku di bawah peraturan pemilihan yang dinyatakan, bukannya menganggap susunan sewenang-wenangnya sebagai bukti. ^[4]

Bagi pencipta kandungan, pengajaran praktikalnya sederhana tetapi berguna: undi positif dan kebaharuan ialah kriteria pemilihan. Jika anda menggunakan salah satu daripadanya untuk merumuskan perbincangan, nyatakan pilihan itu. Jangan anggap senarai pendek yang kelihatan mengekalkan keseimbangan keseluruhan arkib.

Kaedah maklum balas pelanggan memenuhi keperluan yang berbeza. Perniagaan mungkin mahu memahami pola umum, menyiasat masalah tertentu atau mencari soalan untuk siaran seterusnya. Kajian ini membincangkan satu bahagian kerja itu: sama ada pilihan kecil mengekalkan komposisi penilaian sesuatu perbincangan. Ia tidak menyusun kedudukan semua cara mengumpulkan maklum balas.

Jika soalan anda ialah “Bagaimanakah gambaran perbincangan ini secara keseluruhan?”, mulakan dengan menentukan komen yang termasuk dalam perbincangan. Pemilihan rawak daripada senarai lengkap yang boleh diakses tidak sengaja mengutamakan undi atau masa penciptaan terkini. Dalam arkib ini, pemilihan tersebut lebih hampir secara purata, tetapi sampel rawak yang kecil masih mempunyai perbezaan yang boleh diukur. Sepuluh ialah bilangan yang kami pilih untuk perbandingan, bukan saranan bahawa sepuluh komen sudah mencukupi.

Jika soalan anda ialah “Apakah yang patut saya jawab seterusnya?”, sesuatu komen mungkin wajar diberi perhatian dengan sendirinya. Soalan yang jelas tentang penggantian bahan boleh menjadi alasan untuk menyemak resipi dan menyediakan penjelasan. Anda tidak perlu menyifatkan soalan itu sebagai lazim sebelum menjawabnya. Kesesuaiannya untuk kandungan seterusnya ialah pertimbangan yang berasingan.

Jika soalan anda berkaitan perubahan terkini, masa penciptaan boleh menentukan tempoh bacaan yang relevan. Nyatakan tempoh itu dengan jelas dalam rumusan. Komen terkini dalam kajian kami bermaksud komen dengan cap masa penciptaan paling lewat dalam arkib tersimpan, bukan komen yang diterima hari ini atau susunan yang kini dipaparkan di laman web.

Walaupun lengkap, arkib komen tetap merupakan rujukan yang terhad. Ia mengandungi sumbangan orang yang memilih untuk meninggalkan komen, bukan semua orang yang membaca atau mencuba resipi. Jika perniagaan memerlukan maklum balas daripada orang yang tidak pernah memberikan komen, ia memerlukan cara lain untuk menghubungi mereka. Padanan yang lebih rapat dengan arkib komen tidak boleh mengisi jurang itu. Asingkan maklum balas tambahan tersebut supaya sumber dan cara pemilihannya kekal jelas.

Simpan dua catatan berasingan: satu menerangkan pilihan yang digunakan untuk merumuskan perbincangan; satu lagi menyenaraikan soalan yang wajar disiasat. Ini ialah cadangan pendekatan perancangan, bukan aliran kerja yang diuji dalam kajian ini.

Bayangkan seorang pencipta kandungan makanan merancang kandungan susulan untuk resipi kek. Satu komen dengan banyak undi positif bertanya sama ada acuan lain boleh digunakan. Pencipta itu terfikir untuk memulakan video seterusnya dengan “Semua orang menghadapi masalah saiz acuan.” Ini senario rekaan, bukan komen atau resipi yang dipilih daripada set data.

Soalan tentang acuan boleh berbaloi untuk dijawab tanpa menunjukkan betapa lazimnya soalan itu. Undi positif tidak membuktikan siapa yang mencuba resipi atau berkongsi pengalaman yang sama.

Taklimat yang lebih tepat boleh menyatakan: “Seorang pembaca bertanya bagaimana pilihan acuan mempengaruhi resipi ini. Tunjukkan acuan yang digunakan, jelaskan ukurannya dan kenal pasti perkara yang perlu disemak sebelum mengesyorkan acuan lain.” Pencipta kandungan kemudian boleh mengesahkan butiran memasaknya. Komen itu menyediakan soalan permulaan, bukan membuktikan jawapannya.

Jika pencipta itu juga mahu merumuskan perbincangan, mereka perlu menyimpan catatan berasingan tentang perkara yang dibaca dan cara pemilihannya. Sampel rawak daripada senarai lengkap yang tersedia patut memberikan setiap komen peluang yang sama tanpa memilih komen yang sama dua kali. Menatal ke beberapa bahagian yang mudah dicapai bukan prosedur rawak yang dinilai di sini.

Apabila senarai lengkap tidak tersedia, terangkan pemilihan yang benar-benar boleh anda buat. “Kami menyemak komen pertama yang dipaparkan mengikut susunan ini” lebih bermaklumat daripada menyebutnya sampel yang mewakili keseluruhan. Jangan gunakan angka perbezaan daripada arkib kami untuk proses yang berlainan itu.

Kandungan susulan patut menunjukkan peralatan dan menjawab soalan yang telah disemak. Rekodkan perkara yang sudah diperjelas supaya semakan seterusnya boleh menumpukan pada soalan yang belum terjawab. Nilai penjelasan itu menggunakan maklum balas terhadap kandungan susulan tersebut.

Gunakan soalan panduan ini sebelum menugaskan pencipta kandungan atau rakan sekerja menyemak komen. Ini ialah bantuan perancangan praktikal, bukan soalan daripada set data sumber.

Keputusan: Bacaan ini akan membantu menentukan apa? Nyatakan tugas khusus, seperti menjelaskan langkah resipi atau memilih topik susulan. Bezakan permintaan untuk contoh daripada permintaan untuk menerangkan keseluruhan perbincangan.

Skop: Resipi, platform dan tempoh mana yang disertakan? Nyatakan sama ada senarai yang tersedia lengkap. Kira komen sebagai komen; jangan melabelkannya sebagai individu unik atau pelanggan yang disahkan tanpa bukti berasingan.

Pemilihan: Bagaimanakah komen dimasukkan ke dalam kumpulan bacaan? Rekodkan susunan atau prosedur rawak, bilangan yang dibaca dan sebarang peraturan bagi nilai seri. Kekalkan komen tanpa penilaian dalam skop apabila ia sebahagian daripada perbincangan yang ingin anda fahami.

Pemerhatian: Apakah yang sebenarnya dinyatakan dalam komen terpilih? Asingkan soalan langsung daripada tafsiran anda. Kekalkan konteks yang mencukupi untuk memahami isu, sambil mengelakkan maklumat peribadi dalam taklimat yang dikongsi.

Tindakan seterusnya: Dakwaan atau butiran resipi mana yang perlu disemak sebelum penerbitan? Tugaskan semakan itu kepada seseorang yang boleh menjawabnya. Tulis penjelasan yang dicadangkan serta tempat penerbitannya, tanpa menjadikan contoh terpilih sebagai dakwaan tanpa bukti tentang kekerapan sesuatu perkara.

Sumbernya ialah set data Recipe Reviews and User Feedback oleh Ali, Matuszewski dan Czupyt, yang diterbitkan oleh UCI pada 2023 di bawah CC BY 4.0. Ia mengandungi komen daripada senarai terpilih bagi 100 resipi Taste of Home dengan penilaian tinggi. Tahun penerbitan tidak menetapkan tarikh pengumpulan yang tepat, dan bahan sumber yang tersedia tidak membuktikan bahawa setiap komen asal direkodkan. Ini ialah analisis arkib sejarah, bukan penanda aras platform semasa. ^[1][2][3]

Kami mengesahkan keseluruhan arkib yang diterbitkan: 18,182 pengecam komen yang berbeza merentas 100 kedudukan resipi. Setiap resipi mempunyai lebih daripada sepuluh komen, jadi kesemua 100 resipi dimasukkan dalam perbandingan. Beberapa komen daripada penulis yang sama kekal sebagai beberapa komen. Kami tidak membuang pendua mengikut individu atau menganalisis teks ulasan, nama, reputasi pengguna atau skor pemeringkatan sumber.

Bagi setiap resipi, peraturan undi positif memilih sepuluh komen dengan bilangan undi positif tertinggi yang direkodkan. Peraturan terkini menggunakan sepuluh cap masa penciptaan paling lewat. Apabila terdapat nilai seri pada sempadan pemilihan, setiap kemungkinan untuk mengisi tempat yang berbaki daripada kumpulan tersebut mempunyai kebarangkalian yang sama. Pemilihan rawak memberikan setiap subset sepuluh komen dalam arkib resipi kebarangkalian yang sama.

Bagi setiap kemungkinan pilihan, kami membandingkan taburan enam kategori penilaiannya dengan arkib resipi penuh, kemudian mengambil purata jarak mengikut peraturan pemilihan. Pengiraan kebarangkalian tepat menghasilkan nilai jangkaan itu tanpa simulasi. Mengambil purata jarak adalah penting: mengira jarak hanya selepas mengambil purata bahagian setiap kategori akan menjawab soalan lain dan boleh menyembunyikan variasi pensampelan.

Kami kemudian mengambil purata jarak jangkaan bagi setiap resipi dengan wajaran yang sama. Perbezaan dikira sebelum dibundarkan kepada satu tempat perpuluhan. Bilangan sepuluh komen, peraturan kelayakan, perbandingan dan rancangan pelaporan telah ditetapkan sebelum hasil sasaran diteliti. Tiada bilangan alternatif atau subset resipi yang memberikan hasil menguntungkan dipilih selepas itu.

Hasil ini menerangkan arkib terhingga tersebut dan peraturan pemilihan yang ditetapkan, jadi kami tidak melaporkan selang keyakinan populasi atau kesan sebab-akibat. Undi positif terkumpul tidak menunjukkan pendedahan atau sejarah pengundian. Makalah asal pengeluar data mengkaji pengelasan teks; analisis ini sebaliknya mengikuti kategori bintang yang didokumentasikan oleh UCI dan meneliti pemilihan. Kaedah teknikal menjelaskan perbezaan medan sumber tersebut. ^[1][2]

Muat turun menyediakan hasil agregat, audit berangka bagi setiap kedudukan resipi dan kod untuk menghasilkan semula analisis. Ia tidak mengandungi teks komen, nama atau pengecam pengguna. Rekod sumber tersedia secara berasingan daripada UCI; atribusi kepada penulis set data dan repositori tidak membayangkan sokongan terhadap tafsiran kami. ^[1][3]