Dua label moderasi bisa berasal dari peninjau yang berbeda

Opsi pertama menanyakan apakah teks mengutip atau melaporkan serangan pribadi yang berasal dari komentar lain. Opsi kedua menyangkut serangan pribadi yang ditujukan kepada penerima. Peninjau dapat memilih lebih dari satu opsi. Ini adalah penilaian atas teks yang ditampilkan, bukan keputusan untuk menyembunyikannya atau bukti pelanggaran kebijakan.^[2]

Kami menganggap suatu label ada jika setidaknya satu dari 10 peninjau memilihnya. Jadi, perbandingan ini didasarkan pada pilihan peninjau mana pun. Kami tidak mensyaratkan mayoritas, tidak menyebut label sebagai konsensus, dan tidak menguji apakah label tersebut benar.

Dari 13.824 cuplikan terpilih, 12.025 tidak mendapat satu pun dari kedua label ini. Sebanyak 406 lainnya mendapat label kutipan/pelaporan tanpa label serangan kepada penerima, sedangkan 1.238 mendapat label serangan kepada penerima tanpa label kutipan/pelaporan. Sisanya, 155 cuplikan, memiliki kedua label di antara penilaiannya.

Deskripsi tersebut hanya menyangkut dua opsi ini. Cuplikan tanpa label serangan kepada penerima masih bisa memiliki jenis label serangan lain. Label kutipan/pelaporan tidak menjamin bahwa teks itu tidak berbahaya. Nama yang tepat mencegah kategori yang berguna bergeser diam-diam menjadi kesimpulan yang lebih luas.

Dalam 155 cuplikan itu, kami memeriksa respons individual di balik setiap label. Pada 98 cuplikan, setidaknya satu orang memilih kedua opsi untuk cuplikan yang sama. Pada 57 cuplikan, pilihan kutipan/pelaporan dan serangan kepada penerima hanya berasal dari orang yang berbeda. Tidak ada satu pun respons individual pada 57 cuplikan itu yang memuat pasangan tersebut.

Hasilnya, 63,2% memiliki pasangan label dari peninjau yang sama, sedangkan pada 36,8% kedua label hanya diberikan oleh peninjau yang berbeda. Kedua kelompok termasuk dalam kumpulan 155 cuplikan yang didefinisikan secara sempit. Cakupan yang lebih besar, yaitu 13.824 cuplikan, tetap penting karena menunjukkan dari mana perbandingan bersyarat ini berasal.^[4]

Perbedaan itu mengubah pernyataan yang bisa kamu buat dari ringkasan. Mengetahui bahwa kedua label muncul mendukung pernyataan bahwa masing-masing pernah dipilih dalam kumpulan penilaian. Informasi itu saja tidak mendukung pernyataan bahwa seorang peninjau menggambarkan teks dengan kedua cara tersebut.

Pola peninjau yang sama juga tidak memastikan makna kata-kata dalam teks. Satu cuplikan sumber dapat menggabungkan tambahan yang dibuat dalam satu revisi Wikipedia, termasuk lebih dari satu postingan. Jika seorang peninjau memilih kedua opsi, itu tidak membuktikan bahwa bagian yang dikutip merupakan serangan kepada penerima. Kami tidak memeriksa setiap cuplikan untuk menjelaskan penilaian yang diberikan.^[2][6]

Dalam bisnis, kasus bisa diserahkan dari orang yang memantau komentar kepada penanggung jawab akun. Bagi kreator, serah terima bisa berlangsung dari asisten kepada kreator. Orang berikutnya perlu memahami apa yang diamati sebelum memutuskan apakah perlu membalas, mencari konteks tambahan, atau menerapkan kebijakan akun yang sudah berlaku.

Simpan pilihan setiap orang sebagai satu kesatuan. Jika seorang peninjau memilih kedua opsi, pertahankan pasangan itu sebagai penilaiannya. Jika dua peninjau memilih opsi berbeda, simpan respons mereka secara terpisah. Satu kasus bisa memuat lebih dari satu pembacaan tanpa mengubahnya menjadi penilaian yang sebenarnya tidak pernah dibuat siapa pun.

Lalu tambahkan penjelasan singkat tentang bagian teks yang relevan. Dalam alur kerja kamu sendiri, jelaskan apa yang tampaknya dikutip, kepada siapa perkataan itu ditujukan, dan balasan di sekitarnya yang membantu memahami percakapan. Tunjukkan ketidakpastian jika konteks yang tersedia belum menjawab pertanyaan. Ini adalah saran praktis; dataset tersebut tidak menguji pengaruhnya terhadap keputusan.

Catatan singkat bisa cukup. Tujuannya agar orang berikutnya dapat mengikuti alasan orang pertama tanpa mengulangi seluruh peninjauan dari awal. Bagi tim yang menyerahkan kasus antarsif atau antara merek dan kreator, ini berarti meneruskan pengamatan asli beserta kategori yang dilekatkan padanya.

Perhatikan dua panel peninjau rekaan, masing-masing terdiri dari 10 orang yang menilai satu cuplikan fiktif. Panel ini menjelaskan perhitungannya; orang, kutipan, dan kasusnya bukan berasal dari dataset. Kedua ringkasan menunjukkan satu pilihan kutipan/pelaporan dan satu pilihan serangan kepada penerima.^[8]

Pada panel pertama, Peninjau A memilih kedua opsi. Sebanyak 9 orang lainnya tidak memilih satu pun dari kedua opsi ini. Jadi, ada satu orang yang responsnya memuat pasangan tersebut. Catatan serah terima dapat mempertahankan penilaian gabungan orang itu secara akurat, sementara tindakan akhir tetap diputuskan secara terpisah.

Pada panel kedua, Peninjau A memilih kutipan/pelaporan dan Peninjau B memilih serangan kepada penerima. Sebanyak 8 orang lainnya tidak memilih satu pun dari kedua opsi. Jumlah pada setiap kolom tetap satu dan satu, tetapi tidak ada orang yang memilih keduanya. Menyebutnya sebagai penilaian gabungan satu orang akan menambahkan hubungan yang tidak ada dalam respons individual.

Contoh ini juga menjelaskan mengapa kami menghitung cuplikan, bukan menjumlahkan setiap orang yang memenuhi pola. Jika dua orang pada panel pertama masing-masing memilih kedua label, cuplikan itu tetap dihitung satu kali dalam kelompok peninjau yang sama. Klasifikasinya menanyakan apakah pasangan semacam itu ada, bukan berapa banyak orang yang memberikannya.

Untuk panel kedua, contoh catatan serah terima singkat dapat berbunyi: “Keputusan belum dibuat. Peninjau A mengidentifikasi kutipan/pelaporan; Peninjau B mengidentifikasi bahasa yang ditujukan kepada penerima. Simpan kedua catatan bersama cuplikan dan balasan sebelumnya. Penanggung jawab akun akan memeriksa bagian yang dimaksud setiap peninjau sebelum memilih tindakan.” Catatan ini meneruskan pertanyaan yang belum terjawab tanpa mengubah respons dua orang menjadi kesimpulan satu orang.

Dalam serah terima nyata, pertahankan dua catatan terpisah seperti pada panel kedua. Peninjau berikutnya dapat membacanya bersama teks, menanyakan maksud setiap orang, lalu mengambil keputusan sesuai kebijakan akun. Studi ini tidak membuktikan apakah salah satu peninjau benar atau tindakan apa yang seharusnya diambil untuk kasus fiktif tersebut.

Deskripsi tentang apa yang muncul dalam komentar dan keputusan tentang tindakannya memiliki tujuan berbeda. Seorang peninjau mungkin melihat bahasa yang dikutip, sementara penanggung jawab akun masih perlu mempertimbangkan percakapan di sekitarnya dan kebijakan yang berlaku. Catat langkah-langkah itu secara terpisah agar pembaca berikutnya dapat melihat bagaimana keputusan diambil.

Untuk bisnis yang bekerja dengan kreator, sepakati siapa yang mengambil keputusan itu sebelum percakapan sulit muncul. Orang yang memahami keluhan produk belum tentu berwenang mengubah cara moderasi akun. Serah terima yang jelas dapat menyebut kedua peran tanpa menganggap setiap kasus memerlukan beberapa peninjau.

Untuk kreator yang bekerja sendiri, perbedaan yang sama bisa dicatat dalam satu catatan: apa yang kamu amati, konteks apa yang kamu periksa, dan apa yang kamu putuskan. Satu orang dapat menjalankan beberapa langkah sambil menjaga tujuan setiap langkah tetap jelas. Dataset ini tidak menunjukkan bahwa menambah staf atau satu lapis peninjauan memperbaiki hasil.

Pertahankan pengamatan secara terpisah sampai kamu memahami hubungannya. Pilihan berbeda mungkin mencerminkan fokus yang berbeda, bukan penjelasan yang saling bertentangan. Pilihan kutipan/pelaporan bukan pengecualian otomatis, dan pilihan serangan kepada penerima bukan rekomendasi penghapusan yang telah diukur. Tindakan berikutnya sebaiknya didukung percakapan yang sebenarnya dan aturan akun, bukan disimpulkan dari persentase arsip kami.

Salin kolom berikut ke dokumen peninjauan atau catatan serah terima yang sudah kamu gunakan. Pakai hanya informasi yang dibutuhkan tim, dengan akses yang sesuai untuk percakapan tersebut. Lembar kerja ini tersedia tanpa pendaftaran; isinya saran praktis, bukan proses yang diamati dalam studi.^[8]

Kasus: [Tautan atau referensi internal.] Akun/kanal: [Tempat percakapan muncul.] Waktu diperiksa: [Tanggal dan waktu.] Pertahankan referensi yang tetap agar orang berikutnya dapat menemukan materi yang sama.

Tujuan: [Pertanyaan apa yang memerlukan keputusan?] Penanggung jawab: [Siapa yang akan memutuskan?] Orang berikutnya: [Siapa yang perlu menerima serah terima, jika ada?]

Teks yang ditampilkan: [Bagian yang ditinjau, disimpan di ruang kerja yang disetujui.] Konteks sekitar: [Balasan sebelumnya atau sesudahnya yang relevan.] Konteks yang belum tersedia: [Apa yang tidak dapat diperiksa.]

Peninjau: [Nama atau referensi peninjau internal.] Waktu penilaian: [Tanggal dan waktu.] Pisahkan entri setiap orang, meskipun beberapa orang menggunakan label yang sama.

Pengamatan kutipan/pelaporan: [Ya, tidak, atau belum jelas.] Dasar: [Bagian mana yang tampaknya mengutip atau melaporkan serangan orang lain?] Jangan gunakan kolom ini untuk memutuskan bahwa teks tidak berbahaya.

Pengamatan serangan kepada penerima: [Ya, tidak, atau belum jelas.] Dasar: [Bagian mana yang tampaknya ditujukan kepada penerima, dan mengapa?] Pisahkan jawaban ini dari pengamatan kutipan/pelaporan.

Pengamatan lain yang relevan: [Masalah lain yang perlu dipertimbangkan menurut kebijakan akun.] Jangan menganggap tidak adanya salah satu dari dua label studi sebagai gambaran lengkap percakapan.

Hubungan antarpeninjauan: [Satu orang memilih keduanya, orang berbeda memilih opsi berbeda, atau belum jelas.] Jika pilihan peninjau berbeda, simpan catatan masing-masing sebelum merangkum kasus.

Referensi kebijakan: [Aturan atau panduan yang berlaku.] Keputusan: [Tindakan yang benar-benar dipilih, atau pertanyaan yang belum terjawab.] Alasan: [Bagaimana pengamatan dan konteks mendukung keputusan itu.]

Tindak lanjut: [Siapa melakukan apa berikutnya, jika diperlukan?] Waktu serah terima: [Kapan kasus diteruskan kepada orang tersebut.] Hasil: [Apa yang terjadi setelah keputusan, jika diperiksa.] Jangan tandai tindakan yang baru direncanakan sebagai tindakan yang sudah selesai.

Tinjau kembali ketika: [Peristiwa tertentu atau konteks yang masih kurang, jika perlu diperiksa lagi.] Lembar kerja ini tidak mewajibkan peninjauan berulang untuk setiap kasus; gunakan alasan yang sesuai dengan situasinya.

Kami menetapkan dua pemeriksaan pendukung sebelum menghitung pasangan label. Pemeriksaan pertama mengecualikan cuplikan bertahun 2016 karena rentang tahun dalam berkas rilis melampaui periode yang dijelaskan dalam ringkasan sumber dan makalah asli. Tersisa 13.809 cuplikan sampel acak yang memenuhi syarat. Sebanyak 155 cuplikan yang sama tetap memiliki kedua label, dengan pembagian 98/57 yang sama.^[5]

Pemeriksaan lainnya menggunakan materi dalam dataset yang diambil secara terpisah dari sekitar peristiwa pemblokiran. Dengan aturan tepat 10 penilaian yang sama, sampel ini memuat 42.383 cuplikan. Dari 2.457 cuplikan yang memiliki kedua label di antara penilaiannya, 1.354 memiliki pasangan dari peninjau yang sama dan 1.103 hanya mendapat kedua label dari orang berbeda: masing-masing 55,1% dan 44,9%.

Kelompok dengan tambahan materi sekitar peristiwa pemblokiran memiliki tujuan pengambilan sampel yang berbeda, sehingga kami memisahkannya. Persentasenya tidak menggantikan hasil utama atau menjadi bukti tentang komentar merek saat ini. Pemeriksaan tahun menangani rentang tanggal yang tercatat; kedua pemeriksaan tetap harus ditafsirkan sebagai penilaian subjektif atas cuplikan historis terpilih.

Kami menggunakan Wikipedia Talk Labels: Personal Attacks versi 6, dataset publik dari proyek Wikipedia Detox. Berkas rilis memuat teks yang berasal dari revisi historis halaman diskusi dan beberapa penilaian pekerja urun daya untuk setiap cuplikan. Analisis ini menggunakan respons individual; tidak membuat penilaian baru atau mengevaluasi sistem moderasi.^[1][2]

Perbandingan utama kami dimulai dari kelompok sampel acak dalam rilis dan mempertahankan cuplikan dengan tepat 10 penilaian lengkap dari orang yang berbeda. Jumlah tetap 10 memberi setiap cuplikan jumlah kesempatan yang sama untuk menerima pilihan berpasangan. Aturan ini juga memilih 13.824 dari 37.492 cuplikan sampel acak yang dirilis, sehingga hasilnya tidak menggambarkan seluruh kelompok tersebut.^[3]

Setiap cuplikan terpilih dihitung satu kali. Kami memeriksa apakah salah satu label muncul di antara penilaian, lalu apakah keduanya muncul dalam respons satu orang untuk cuplikan yang sama. Kelima kategori saling terpisah dan jumlahnya 13.824. Penyebut 155 cuplikan berasal dari dua kategori yang memiliki kedua label, bukan dari seluruh penilaian atau seluruh cuplikan sumber.^[4]

Sebelum memeriksa pasangan label, kami menetapkan kelompok sampel, aturan cakupan, pemeriksaan tahun, dan jumlah minimum 100 cuplikan dalam perbandingan bersyarat utama. Jumlah 155 yang teramati memenuhi syarat itu. Kami tidak menetapkan persentase wajib, mengubah aturan untuk menguntungkan hasil tertentu, atau menggabungkan materi sekitar peristiwa pemblokiran dengan kelompok acak.

Penelitian asli sudah menggunakan penilaian individual, dan penelitian berikutnya mengagregasikan setiap kolom serangan berdasarkan mayoritas. Kontribusi kami lebih sempit: perbandingan deskriptif tentang siapa yang memberikan kedua opsi dalam kumpulan penilaian yang tetap. Ini bukan koreksi atas metode studi-studi tersebut. Unduhan menyediakan hasil agregat, metode, dan petunjuk reproduksi menggunakan berkas sumber publik yang tersedia secara terpisah.^[6][7]

Pertanyaan yang berguna saat menyerahkan kasus moderasi media sosial adalah siapa yang membuat setiap pengamatan dan apa yang mereka jelaskan. Dalam perbandingan arsip terpilih ini, 57 dari 155 cuplikan dengan kedua label tidak memiliki peninjau individual yang memilih pasangan tersebut. Hubungan itu akan hilang dalam ringkasan yang hanya berisi nama kedua label.

Hubungkan pengamatan orang tersebut, konteks yang relevan, dan keputusan akhir. Dengan begitu, bisnis atau kreator dapat menjelaskan isi kasus dan alasan tindakan yang dipilih, tanpa membebankan seluruh pekerjaan peninjauan kepada satu label kategori.