Dua label moderasi boleh datang daripada penyemak yang berlainan

Pilihan pertama bertanya sama ada teks memetik atau melaporkan serangan peribadi yang berasal daripada komen lain. Pilihan kedua berkaitan dengan serangan peribadi yang ditujukan kepada penerima. Penyemak boleh memilih lebih daripada satu pilihan. Ini ialah penilaian terhadap teks yang dipaparkan, bukannya keputusan untuk menyembunyikannya atau bukti bahawa sesuatu dasar telah dilanggar.^[2]

Kami menganggap sesuatu label hadir apabila sekurang-kurangnya seorang daripada 10 penyemak memilihnya. Perbandingan ini mengambil kira pilihan mana-mana penyemak. Kami tidak mensyaratkan majoriti, tidak menyifatkan label sebagai persetujuan bersama, dan tidak menguji sama ada label tersebut betul.

Daripada 13,824 petikan terpilih, 12,025 tidak menerima mana-mana daripada dua label ini. Sebanyak 406 lagi menerima label petikan/pelaporan tanpa label serangan kepada penerima, manakala 1,238 menerima label serangan kepada penerima tanpa label petikan/pelaporan. Baki 155 mempunyai kedua-dua label dalam kalangan penilaian mereka.

Huraian tersebut hanya merujuk kepada dua pilihan ini. Petikan tanpa label serangan kepada penerima masih boleh mempunyai jenis label serangan yang lain. Label petikan/pelaporan tidak mengesahkan bahawa teks itu tidak memudaratkan. Nama yang tepat mengelakkan kategori yang berguna daripada bertukar tanpa disedari menjadi kesimpulan yang lebih luas.

Bagi 155 petikan itu, kami memeriksa respons individu di sebalik setiap label. Dalam 98 petikan, sekurang-kurangnya seorang individu memilih kedua-dua pilihan untuk petikan yang sama. Dalam 57 petikan, pilihan petikan/pelaporan dan serangan kepada penerima datang hanya daripada orang yang berlainan. Tiada respons individu dalam 57 petikan itu mengandungi pasangan tersebut.

Pecahannya ialah 63.2% mempunyai pasangan label daripada penyemak yang sama, manakala bagi 36.8%, label hanya diberikan oleh penyemak yang berlainan. Kedua-dua kumpulan tergolong dalam set 155 petikan yang ditakrifkan secara khusus. Rangka yang lebih besar, iaitu 13,824 petikan, tetap penting kerana menunjukkan asal perbandingan bersyarat tersebut.^[4]

Perbezaan ini mengubah dakwaan yang boleh dibuat daripada ringkasan. Mengetahui bahawa kedua-dua label muncul menyokong pernyataan bahawa setiap label dipilih dalam set penilaian itu. Maklumat itu sahaja tidak menyokong pernyataan bahawa seorang penyemak menggambarkan teks dengan kedua-dua cara tersebut.

Corak penyemak yang sama juga tidak menentukan maksud kata-kata itu. Satu petikan sumber boleh menggabungkan tambahan yang dibuat dalam satu semakan Wikipedia, termasuk lebih daripada satu siaran. Seorang penyemak yang memilih kedua-dua pilihan tidak membuktikan bahawa bahagian yang dipetik itu sendiri ialah serangan kepada penerima. Kami tidak memeriksa setiap petikan untuk menerangkan penilaian yang diberikan.^[2][6]

Dalam perniagaan, kes mungkin diserahkan daripada orang yang memantau komen kepada penanggungjawab akaun. Bagi pencipta kandungan, ia mungkin beralih daripada pembantu kepada pencipta itu sendiri. Orang seterusnya perlu memahami apa yang diperhatikan sebelum memutuskan sama ada hendak membalas, mendapatkan konteks tambahan atau menggunakan dasar akaun yang sedia ada.

Kekalkan pilihan setiap orang bersama-sama. Jika seorang penyemak memilih kedua-dua pilihan, simpan pasangan itu sebagai penilaiannya. Jika dua penyemak memilih pilihan berlainan, kekalkan respons mereka secara berasingan. Satu kes boleh memuatkan lebih daripada satu tafsiran tanpa menggabungkannya menjadi penilaian yang tidak pernah dibuat oleh sesiapa.

Kemudian, tambah penerangan ringkas tentang bahagian teks yang berkaitan. Dalam aliran kerja anda sendiri, nyatakan apa yang kelihatan dipetik, siapa yang ditujukan kata-kata itu, dan balasan sekeliling yang membantu menjelaskan perbualan. Tunjukkan perkara yang masih tidak pasti jika konteks yang ada belum menjawab persoalan. Ini ialah cadangan praktikal; set data tersebut tidak menguji kesannya terhadap keputusan.

Catatan pendek mungkin sudah memadai. Tujuannya ialah membolehkan orang seterusnya mengikuti alasan orang pertama tanpa membina semula keseluruhan semakan. Bagi pasukan yang menyerahkan kes antara syif atau antara jenama dengan pencipta kandungan, ini bermakna menyerahkan pemerhatian asal bersama kategori yang diberikan kepadanya.

Pertimbangkan dua panel semakan rekaan, masing-masing dengan 10 orang yang menilai satu petikan rekaan. Panel ini menerangkan pengiraan; orang, petikan kata-kata dan kesnya bukan daripada set data sebenar. Kedua-dua ringkasan menunjukkan satu pilihan petikan/pelaporan dan satu pilihan serangan kepada penerima.^[8]

Dalam panel pertama, Penyemak A memilih kedua-dua pilihan. Seramai 9 orang yang lain tidak memilih mana-mana daripada dua pilihan ini. Terdapat seorang individu yang responsnya mengandungi pasangan tersebut. Catatan serahan boleh mengekalkan penilaian gabungan orang itu dengan tepat, sambil membiarkan tindakan akhir diputuskan secara berasingan.

Dalam panel kedua, Penyemak A memilih petikan/pelaporan dan Penyemak B memilih serangan kepada penerima. Baki 8 orang tidak memilih mana-mana pilihan itu. Jumlah setiap medan masih satu dan satu, tetapi tiada orang memilih kedua-duanya. Menyifatkannya sebagai penilaian gabungan seorang individu akan menambah hubungan yang tidak wujud dalam respons individu tersebut.

Contoh ini juga menjelaskan mengapa kami mengira petikan, bukannya menjumlahkan setiap orang yang sepadan dengan corak itu. Jika dua orang dalam panel pertama masing-masing memilih kedua-dua label, petikan itu masih dikira sekali dalam kumpulan penyemak yang sama. Pengelasannya menanyakan sama ada pasangan sedemikian wujud, bukannya berapa ramai yang memberikannya.

Untuk panel kedua, contoh catatan serahan ringkas boleh berbunyi: “Keputusan masih belum dibuat. Penyemak A mengenal pasti petikan/pelaporan; Penyemak B mengenal pasti bahasa yang ditujukan kepada penerima. Simpan kedua-dua catatan bersama petikan dan balasan sebelumnya. Penanggungjawab akaun akan memeriksa bahagian yang dimaksudkan oleh setiap penyemak sebelum memilih tindakan.” Catatan ini menyampaikan persoalan yang belum selesai tanpa menulis semula respons dua orang sebagai kesimpulan seorang individu.

Dalam serahan sebenar, kekalkan dua catatan berasingan seperti dalam panel kedua. Penyemak seterusnya boleh membacanya bersama teks, bertanya maksud setiap orang dan membuat keputusan mengikut dasar akaun. Kajian ini tidak menentukan sama ada mana-mana penyemak itu betul atau tindakan yang patut diambil bagi kes rekaan tersebut.

Huraian tentang apa yang terdapat dalam komen dan keputusan tentang tindakan terhadapnya mempunyai tujuan yang berbeza. Seorang penyemak mungkin mengenal pasti bahasa yang dipetik, sedangkan penanggungjawab akaun masih perlu mempertimbangkan perbualan sekeliling dan dasar yang terpakai. Kekalkan langkah tersebut secara berasingan supaya pembaca kemudian dapat melihat bagaimana keputusan dibuat.

Bagi perniagaan yang bekerjasama dengan pencipta kandungan, persetujui siapa yang membuat keputusan itu sebelum timbul perbualan yang sukar. Orang yang memahami aduan produk mungkin bukan orang yang diberi kuasa mengubah pendekatan moderasi akaun. Serahan yang jelas boleh menyatakan kedua-dua peranan tanpa menganggap setiap kes memerlukan beberapa penyemak.

Bagi pencipta kandungan yang bekerja sendiri, perbezaan yang sama boleh dicatat dalam satu nota: apa yang anda perhatikan, konteks yang anda semak dan keputusan anda. Seorang individu boleh menjalankan beberapa langkah sambil mengekalkan tujuan setiap langkah dengan jelas. Set data ini tidak menunjukkan bahawa menambah kakitangan atau satu lagi lapisan semakan meningkatkan hasil.

Kekalkan pemerhatian secara berasingan sehingga anda memahami hubungannya. Pilihan yang berlainan mungkin mencerminkan fokus yang berbeza, bukannya penjelasan yang bercanggah. Pilihan petikan/pelaporan bukan pengecualian automatik, dan pilihan serangan kepada penerima bukan saranan pemadaman yang telah diukur. Tindakan seterusnya perlu disokong oleh perbualan sebenar dan peraturan akaun, bukannya disimpulkan daripada peratusan arkib kami.

Salin medan ini ke dalam dokumen semakan atau catatan serahan yang sedia ada. Gunakan hanya maklumat yang diperlukan oleh pasukan anda, dengan tahap akses yang sesuai untuk perbualan tersebut. Lembaran kerja ini tersedia tanpa pendaftaran; ia ialah panduan praktikal, bukannya proses yang diperhatikan dalam kajian.^[8]

Kes: [Pautan atau rujukan dalaman.] Akaun/saluran: [Tempat perbualan dipaparkan.] Masa disemak: [Tarikh dan masa.] Kekalkan rujukan yang tetap supaya orang seterusnya dapat mencari bahan yang sama.

Tujuan: [Persoalan apa yang memerlukan keputusan?] Penanggungjawab: [Siapa yang akan membuat keputusan?] Orang seterusnya: [Siapa yang perlu menerima serahan, jika ada?]

Teks yang dipaparkan: [Bahagian yang disemak, disimpan dalam ruang kerja yang diluluskan.] Konteks sekeliling: [Balasan terdahulu atau kemudian yang berkaitan.] Konteks yang tiada: [Perkara yang tidak dapat disemak.]

Penyemak: [Nama atau rujukan penyemak dalaman.] Masa penilaian: [Tarikh dan masa.] Asingkan entri setiap orang, walaupun beberapa orang menggunakan label yang sama.

Pemerhatian petikan/pelaporan: [Ya, tidak atau tidak jelas.] Asas: [Bahagian mana yang kelihatan memetik atau melaporkan serangan orang lain?] Jangan gunakan medan ini untuk memutuskan bahawa teks tidak memudaratkan.

Pemerhatian serangan kepada penerima: [Ya, tidak atau tidak jelas.] Asas: [Bahagian mana yang kelihatan ditujukan kepada penerima, dan mengapa?] Kekalkan jawapan ini secara bebas daripada pemerhatian petikan/pelaporan.

Pemerhatian lain yang berkaitan: [Isu lain yang perlu dipertimbangkan mengikut dasar akaun.] Jangan anggap ketiadaan salah satu daripada dua label kajian sebagai gambaran lengkap perbualan.

Hubungan antara semakan: [Seorang memilih kedua-duanya, orang berlainan memilih pilihan berlainan, atau tidak jelas.] Jika pilihan penyemak berbeza, kekalkan catatan individu mereka sebelum merumuskan kes.

Rujukan dasar: [Peraturan atau panduan yang terpakai.] Keputusan: [Tindakan yang benar-benar dipilih, atau persoalan yang belum selesai.] Alasan: [Bagaimana pemerhatian dan konteks menyokong keputusan tersebut.]

Susulan: [Siapa melakukan apa selepas ini, jika perlu?] Masa serahan: [Bila kes diserahkan kepada orang itu.] Hasil: [Apa yang berlaku selepas keputusan, jika disemak.] Jangan tandakan tindakan yang dirancang sebagai sudah selesai.

Semak semula apabila: [Peristiwa tertentu atau konteks yang masih tiada, jika semakan lagi diperlukan.] Lembaran kerja ini tidak mewajibkan semakan berulang untuk setiap kes; gunakan alasan yang sesuai dengan keadaan.

Kami menetapkan dua semakan sokongan sebelum mengira pasangan label. Semakan pertama mengecualikan petikan bertarikh 2016 kerana julat tahun dalam fail keluaran melebihi tempoh yang diterangkan dalam gambaran keseluruhan sumber dan makalah asal. Ini meninggalkan 13,809 petikan sampel rawak yang layak. Sebanyak 155 petikan yang sama masih mempunyai kedua-dua label, dengan pecahan 98/57 yang sama.^[5]

Semakan yang satu lagi menggunakan bahan set data yang disampel secara berasingan dari sekitar peristiwa penyekatan. Dengan peraturan tepat 10 penilaian yang sama, sampel itu mengandungi 42,383 petikan. Daripada 2,457 yang mempunyai kedua-dua label dalam kalangan penilaiannya, 1,354 mempunyai pasangan daripada penyemak yang sama dan 1,103 menerima label hanya daripada orang yang berlainan: masing-masing 55.1% dan 44.9%.

Kumpulan yang diperbanyak dengan bahan sekitar peristiwa penyekatan mempunyai tujuan pensampelan yang berbeza, jadi kami mengekalkannya secara berasingan. Peratusannya tidak menggantikan hasil utama atau menjadi bukti tentang komen jenama semasa. Semakan tahun menangani julat tarikh yang direkodkan; kedua-dua semakan tetap perlu ditafsirkan sebagai penilaian subjektif terhadap petikan sejarah terpilih.

Kami menggunakan Wikipedia Talk Labels: Personal Attacks versi 6, set data awam daripada projek Wikipedia Detox. Fail keluaran mengandungi teks daripada semakan sejarah halaman perbincangan serta beberapa penilaian pekerja yang menyertai crowdsourcing bagi setiap petikan. Analisis ini menggunakan respons individu; ia tidak menghasilkan penilaian baharu atau menilai sistem moderasi.^[1][2]

Perbandingan utama kami bermula dengan kumpulan sampel rawak dalam keluaran dan mengekalkan petikan yang mempunyai tepat 10 penilaian lengkap daripada individu berlainan. Menetapkan bilangannya pada 10 memberi setiap petikan bilangan peluang yang sama untuk menerima pilihan berpasangan. Ini juga memilih 13,824 daripada 37,492 petikan sampel rawak yang diterbitkan, maka hasilnya tidak mewakili keseluruhan kumpulan itu.^[3]

Setiap petikan terpilih menyumbang satu kiraan. Kami memeriksa sama ada salah satu label hadir dalam kalangan penilaian, kemudian sama ada kedua-duanya hadir dalam respons seorang individu terhadap petikan yang sama. Lima kategori itu saling eksklusif dan berjumlah 13,824. Penyebut 155 petikan datang daripada dua kategori yang mempunyai kedua-dua label, bukan daripada semua penilaian atau semua petikan sumber.^[4]

Sebelum meneliti pasangan, kami menetapkan kumpulan pensampelan, peraturan kelengkapan data, semakan tahun dan minimum 100 petikan dalam perbandingan bersyarat utama. Sebanyak 155 petikan yang diperhatikan memenuhi syarat itu. Kami tidak menetapkan peratusan wajib, mengubah peraturan untuk memihak kepada sesuatu hasil atau menggabungkan bahan sekitar peristiwa penyekatan dengan kumpulan rawak.

Penyelidikan asal sudah menggunakan penilaian individu, manakala penyelidikan kemudian mengagregatkan setiap medan serangan berdasarkan majoriti. Sumbangan kami lebih khusus: perbandingan deskriptif tentang siapa yang memberikan dua pilihan itu dalam satu set penilaian yang tetap. Ia bukan pembetulan kepada kaedah kajian tersebut. Muat turun menyediakan hasil agregat, kaedah dan arahan penghasilan semula menggunakan fail sumber awam yang tersedia secara berasingan.^[6][7]

Persoalan yang berguna dalam serahan kes moderasi media sosial ialah siapa yang membuat setiap pemerhatian dan apa yang mereka terangkan. Dalam perbandingan arkib terpilih ini, 57 daripada 155 petikan dengan kedua-dua label tidak mempunyai penyemak individu yang memilih pasangan itu. Hubungan tersebut akan hilang dalam ringkasan yang hanya mengandungi nama dua label.

Kekalkan hubungan antara pemerhatian orang tersebut, konteks yang berkaitan dan keputusan akhir. Perniagaan atau pencipta kandungan kemudian boleh menerangkan kandungan kes dan alasan tindakan yang dipilih, tanpa mengharapkan satu label kategori mewakili keseluruhan semakan.