Komentar resep mana yang perlu kamu baca untuk mendapat masukan?

Kreator resep yang menyiapkan konten lanjutan perlu menentukan apa yang dibaca lebih dulu. Komentar dengan suara positif terbanyak mungkin terlihat seperti jalan pintas yang berguna. Komentar terbaru memberi cara lain untuk masuk ke diskusi. Keduanya mendahulukan sebagian komentar, tetapi tidak otomatis menggambarkan keseluruhan diskusi.

Kami menguji pertanyaan terbatas itu menggunakan 18.182 komentar yang diarsipkan pada 100 resep Taste of Home terpilih dengan penilaian tinggi, dalam dataset publik yang dirilis melalui UCI pada 2023. Untuk setiap resep, kami membandingkan sepuluh komentar yang dipilih berdasarkan suara positif, sepuluh berdasarkan waktu dibuat, dan sepuluh yang dipilih secara acak. Acuannya adalah komposisi penilaian seluruh komentar yang diarsipkan pada resep tersebut. ^[1]

Rata-rata nilai harapan selisih dari komposisi penilaian lengkap adalah 18,7 poin persentase untuk pemilihan berdasarkan suara positif, 20,3 untuk komentar terbaru, dan 16,5 untuk pemilihan acak. Setiap resep memiliki bobot yang sama dalam rata-rata itu, berapa pun jumlah komentarnya. ^[4]

Dibandingkan pemilihan acak, selisihnya lebih besar 2,2 poin persentase untuk suara positif dan 3,8 poin untuk komentar terbaru. Perbedaan ini menyangkut komposisi penilaian dan komentar tanpa penilaian. Kami tidak mengukur komentar mana yang memberi saran memasak terbaik, penjelasan paling jelas, atau ide bisnis paling berguna.

Pembedaan itu penting bagi kreator kuliner atau pengelola komunitas. Sebuah komentar bisa cukup berharga untuk menginspirasi tutorial tanpa harus mencerminkan diskusi secara umum. Memakainya sebagai contoh berbeda dari memakai pilihan singkat komentar sebagai rangkuman.

Bayangkan setiap diskusi resep sebagai komposisi enam kategori: bintang satu sampai lima, ditambah komentar tanpa penilaian. Sampel sepuluh komentar punya komposisinya sendiri. Kami mengukur seberapa jauh komposisi yang lebih kecil itu dari keseluruhan diskusi yang diarsipkan, menggunakan ukuran yang disebut jarak variasi total.

Berikut contoh hipotetis dengan hanya dua kategori. Misalkan separuh komentar memberi empat bintang dan separuhnya lima bintang. Jika pilihan sepuluh komentar berisi tujuh komentar berbintang empat dan tiga berbintang lima, komposisinya menjadi 70% berbanding 30%, bukan 50% berbanding 50%. Jaraknya adalah 20 poin persentase: setengah dari jumlah dua selisih absolut yang masing-masing 20 poin.

Perhitungan yang sama berlaku untuk keenam kategori. Nilai yang lebih kecil berarti komposisinya lebih mendekati komposisi penilaian dalam arsip. Itu tidak berarti tulisannya lebih informatif atau komentarnya lebih benar. Hasil 18,7 poin juga tidak berarti 18,7% komentar itu salah.

Kami tetap memasukkan komentar tanpa penilaian dalam perbandingan. UCI mendefinisikan nol pada kolom penilaian sebagai tidak ada penilaian, bukan skor di bawah satu bintang. Menghapus komentar tersebut akan mengubah diskusi yang dirangkum. Kategori angka saja tidak bisa menunjukkan apakah komentar tanpa penilaian berisi pertanyaan, pujian, masalah, atau hal lain. ^[1]

Perbandingan keseluruhan tidak menghasilkan metode yang selalu menang. Pemilihan berdasarkan suara positif memiliki nilai harapan selisih yang lebih kecil daripada pemilihan acak pada 46 dari 100 resep, dan lebih besar pada 54 resep. Pemilihan komentar terbaru lebih mendekati arsip pada 42 resep dan lebih jauh pada 58 resep. Tidak ada hasil yang persis sama dalam kedua perbandingan itu. ^[4]

Ini adalah perbandingan nilai harapan selisih setiap metode di dalam satu resep. Artinya bukan setiap kemungkinan pengambilan acak mengungguli pemilihan berdasarkan suara positif pada 54 diskusi tersebut. Satu pengambilan tertentu yang berisi sepuluh komentar bisa kebetulan sangat menyerupai diskusi lengkap atau melewatkan sebagian komposisinya.

Hasil acak merata-ratakan seluruh kemungkinan sampel sepuluh komentar, dengan peluang yang sama untuk setiap sampel. Hasilnya bukan berasal dari satu pengambilan yang kebetulan bagus atau nilai awal generator acak yang sengaja dipilih. Kami juga merata-ratakan berbagai kemungkinan pilihan ketika beberapa komentar memiliki jumlah suara positif atau waktu yang sama pada batas pemilihan.

Nilai yang sama pada batas pemilihan memerlukan perataan untuk 70 resep dalam pemilihan berdasarkan suara positif dan empat resep dalam pemilihan komentar terbaru. Kami tidak mengutamakan salah satu komentar yang nilainya sama berdasarkan penulis, posisi baris, atau kode pengenalnya. Perhitungan ini menanyakan apa yang terjadi di bawah aturan pemilihan yang dinyatakan, bukan memperlakukan urutan sembarang sebagai bukti. ^[4]

Bagi kreator, pelajaran praktisnya sederhana tetapi berguna: suara positif dan kebaruan adalah kriteria pemilihan. Jika kamu memakai salah satunya untuk merangkum diskusi, sebutkan pilihan itu. Jangan menganggap daftar singkat yang terlihat pasti mempertahankan komposisi seluruh arsip.

Metode mendapatkan masukan pelanggan digunakan untuk kebutuhan yang berbeda. Bisnis mungkin ingin memahami pola umum, menyelidiki masalah tertentu, atau menemukan pertanyaan untuk postingan berikutnya. Studi ini membahas satu bagian dari pekerjaan itu: apakah pilihan kecil mempertahankan komposisi penilaian sebuah diskusi. Studi ini tidak memeringkat semua cara mengumpulkan masukan.

Jika pertanyaanmu “Seperti apa gambaran keseluruhan diskusi ini?”, mulailah dengan menentukan komentar mana yang termasuk dalam diskusi. Pemilihan acak dari daftar lengkap yang bisa diakses tidak sengaja mengutamakan suara positif atau waktu pembuatan terbaru. Dalam arsip ini, hasilnya rata-rata lebih mendekati komposisi lengkap, tetapi sampel acak kecil tetap memiliki selisih yang terukur. Sepuluh adalah jumlah yang kami pilih untuk perbandingan, bukan anjuran bahwa sepuluh komentar sudah cukup.

Jika pertanyaanmu “Apa yang perlu saya jawab berikutnya?”, sebuah komentar tertentu bisa layak diperhatikan dengan sendirinya. Pertanyaan yang jelas tentang penggantian bahan bisa menjadi alasan untuk memeriksa resep dan menyiapkan penjelasan. Kamu tidak perlu menyebut pertanyaan itu umum sebelum menanggapinya. Relevansinya bagi konten berikutnya adalah penilaian tersendiri.

Jika pertanyaanmu menyangkut perubahan baru, waktu pembuatan bisa menentukan rentang baca yang relevan. Nyatakan rentang itu dalam rangkuman. Komentar terbaru dalam studi kami berarti komentar dengan waktu pembuatan paling akhir dalam arsip tersimpan, bukan komentar yang masuk hari ini atau urutan yang kini ditampilkan di situs.

Bahkan arsip komentar lengkap pun merupakan acuan yang terbatas. Isinya berasal dari orang yang memilih berkomentar, bukan semua orang yang membaca atau mencoba resep. Jika bisnis membutuhkan masukan dari orang yang tidak pernah berkomentar, diperlukan cara tersendiri untuk menjangkau mereka. Kemiripan yang lebih dekat dengan arsip komentar tidak bisa menutup kekosongan itu. Pisahkan masukan tambahan tersebut agar sumber dan cara pemilihannya tetap jelas.

Simpan dua catatan terpisah: satu menjelaskan pilihan komentar untuk merangkum diskusi; satu lagi memuat pertanyaan yang layak ditelusuri. Ini adalah saran pendekatan perencanaan, bukan alur kerja yang diuji dalam studi ini.

Bayangkan kreator kuliner yang menyiapkan konten lanjutan untuk resep kue. Sebuah komentar dengan banyak suara positif menanyakan apakah loyang lain bisa digunakan. Kreator tergoda membuka video berikutnya dengan “Semua orang kesulitan menentukan ukuran loyang.” Ini skenario rekaan, bukan komentar atau resep yang dipilih dari dataset.

Pertanyaan tentang loyang itu bisa layak dijawab tanpa menunjukkan seberapa umum pertanyaannya. Suara positif tidak membuktikan siapa yang mencoba resep atau mengalami hal yang sama.

Brief yang lebih tepat bisa berbunyi: “Seorang pembaca bertanya bagaimana pilihan loyang memengaruhi resep ini. Tunjukkan loyang yang digunakan, jelaskan ukurannya, dan tentukan apa yang perlu diperiksa sebelum merekomendasikan loyang lain.” Kreator kemudian bisa memverifikasi detail memasaknya. Komentar menjadi titik awal pertanyaan, bukan bukti jawabannya.

Jika kreator juga ingin merangkum diskusi, buat catatan terpisah tentang apa yang dibaca dan bagaimana pemilihannya. Sampel acak dari daftar lengkap yang tersedia harus memberi setiap komentar peluang yang sama, tanpa memilih komentar yang sama dua kali. Menggulir ke beberapa bagian yang mudah dijangkau bukan prosedur acak yang dievaluasi di sini.

Jika daftar lengkap tidak tersedia, jelaskan pemilihan yang benar-benar bisa kamu lakukan. “Kami meninjau komentar pertama yang muncul dengan urutan ini” lebih informatif daripada menyebutnya sampel yang mewakili keseluruhan. Jangan menerapkan angka selisih dari arsip kami pada proses yang berbeda itu.

Konten lanjutan sebaiknya memperlihatkan peralatan dan menjawab pertanyaan yang sudah diperiksa. Catat apa yang telah diperjelas agar peninjauan berikutnya bisa berfokus pada pertanyaan yang belum terjawab. Nilai penjelasan itu menggunakan masukan terhadap konten lanjutan tersebut.

Gunakan panduan pertanyaan ini sebelum menugaskan kreator atau rekan kerja meninjau komentar. Ini alat bantu perencanaan praktis, bukan pertanyaan dari dataset sumber.

Keputusan: Pembacaan ini akan membantu menentukan apa? Sebutkan tugas konkret, seperti memperjelas langkah resep atau memilih topik lanjutan. Bedakan permintaan contoh dari permintaan untuk menggambarkan keseluruhan diskusi.

Cakupan: Resep, platform, dan periode mana yang disertakan? Nyatakan apakah daftar yang tersedia lengkap. Hitung komentar sebagai komentar; jangan menyebutnya orang unik atau pelanggan terverifikasi tanpa bukti tersendiri.

Pemilihan: Bagaimana komentar masuk ke dalam kumpulan yang dibaca? Catat cara mengurutkan atau prosedur acak, jumlah yang dibaca, dan aturan untuk nilai yang sama. Tetap sertakan komentar tanpa penilaian jika komentar itu merupakan bagian dari diskusi yang ingin kamu pahami.

Temuan: Apa yang benar-benar dikatakan komentar terpilih? Pisahkan pertanyaan langsung dari penafsiranmu. Pertahankan konteks yang cukup untuk memahami masalahnya, sambil menghindari informasi pribadi dalam brief bersama.

Langkah berikutnya: Klaim atau detail resep mana yang perlu diperiksa sebelum publikasi? Tugaskan pemeriksaan itu kepada orang yang bisa menjawabnya. Tuliskan usulan penjelasan dan tempat publikasinya, tanpa mengubah contoh terpilih menjadi klaim tanpa dasar tentang seberapa sering sesuatu terjadi.

Sumbernya adalah dataset Recipe Reviews and User Feedback karya Ali, Matuszewski, dan Czupyt, yang diterbitkan UCI pada 2023 dengan lisensi CC BY 4.0. Isinya mencakup komentar dari daftar terpilih berisi 100 resep Taste of Home dengan penilaian tinggi. Tahun rilis tidak menetapkan tanggal pengumpulan yang pasti, dan materi sumber yang tersedia tidak membuktikan bahwa setiap komentar asli tercakup. Ini analisis arsip historis, bukan tolok ukur platform saat ini. ^[1][2][3]

Kami memvalidasi seluruh arsip yang dirilis: 18.182 pengenal komentar berbeda pada 100 posisi resep. Setiap resep memiliki lebih dari sepuluh komentar, sehingga seluruh 100 resep masuk ke perbandingan. Beberapa komentar dari orang yang sama tetap dihitung sebagai beberapa komentar. Kami tidak menghapus duplikasi berdasarkan orang, ataupun menganalisis teks ulasan, nama, reputasi pengguna, atau skor pemeringkatan dari sumber.

Untuk setiap resep, aturan suara positif memilih sepuluh komentar dengan jumlah suara positif teramati tertinggi. Aturan terbaru menggunakan sepuluh waktu pembuatan paling akhir. Ketika terdapat nilai yang sama pada batas pemilihan, setiap cara mengisi tempat tersisa dari kelompok tersebut memiliki peluang yang sama. Pemilihan acak memberi peluang yang sama kepada setiap himpunan sepuluh komentar dalam arsip resep.

Untuk setiap kemungkinan pilihan, kami membandingkan distribusi enam kategori penilaiannya dengan arsip resep lengkap, lalu merata-ratakan jaraknya menurut aturan pemilihan. Perhitungan probabilitas eksak menghasilkan nilai harapan itu tanpa simulasi. Merata-ratakan jarak penting dilakukan: menghitung jarak setelah terlebih dahulu merata-ratakan proporsi kategori akan menjawab pertanyaan berbeda dan bisa menyembunyikan variasi sampel.

Kami lalu merata-ratakan nilai harapan jarak setiap resep dengan bobot yang sama untuk setiap resep. Selisih dihitung sebelum dibulatkan ke satu angka desimal. Jumlah sepuluh komentar, aturan kelayakan, perbandingan, dan rencana pelaporan ditetapkan sebelum hasil sasaran diperiksa. Tidak ada jumlah alternatif atau bagian resep dengan hasil menguntungkan yang dipilih setelahnya.

Hasilnya menggambarkan arsip yang jumlahnya terbatas ini dan aturan pemilihan yang ditentukan, sehingga kami tidak melaporkan interval kepercayaan populasi atau efek kausal. Suara positif kumulatif tidak mengungkap paparan atau riwayat pemberian suara. Makalah pembuat dataset meneliti klasifikasi teks; analisis ini mengikuti kategori bintang yang didokumentasikan UCI dan mempelajari pemilihan. Metode teknis menjelaskan perbedaan kolom sumber tersebut. ^[1][2]

Unduhan menyediakan hasil agregat, audit numerik untuk setiap posisi resep, dan kode reproduksi. Tidak ada teks komentar, nama, atau pengenal pengguna di dalamnya. Catatan sumber tersedia secara terpisah dari UCI; atribusi kepada penulis dataset dan repositori tidak berarti mereka mendukung penafsiran kami. ^[1][3]