Maaaring mula sa magkaibang tagasuri ang dalawang label sa moderasyon
Kapag ipinasa ang pagsusuri ng komento, maaaring may dalawang label pero walang paliwanag kung sino ang pumili sa mga ito. Ipinapakita ng mga makasaysayang pagtatasa sa Wikipedia kung bakit mahalaga ang detalyeng iyon sa susunod na babasa ng kaso.
Orihinal na pagsusuri ng Influence IQ sa mga napiling pagtatasa mula sa makasaysayang dataset ng personal na pag-atake ng Wikipedia Detox. Natapos ang pagsusuri noong Oktubre 25, 2026 (UTC).
Abstrak
Sa 13,824 napiling sipi ng makasaysayang talakayan sa Wikipedia, 155 ang may label ng pagsipi/pag-uulat at label ng pag-atakeng nakatuon sa pinatutungkulan sa kanilang 10 indibidwal na pagtatasa. Sa 98 sa 155 siping iyon, may kahit isang tagasuring pumili sa parehong label. Sa natitirang 57, o 36.8%, mula lamang sa magkaibang tagasuri ang mga label. Tumutukoy ang porsiyento sa 155 siping iyon, hindi sa lahat ng 13,824.[1][4]
Para sa mga negosyo at creator na namamahala ng mga komento sa social media, ang praktikal na aral ay tungkol sa pagpapasa ng kaso: panatilihing kasama ng pagtatasa ng bawat tao ang sarili niyang mga obserbasyon. Hindi patunay ang magkasamang paglitaw ng dalawang label na iisang tao ang pumili sa pareho. Inilalarawan ng pag-aaral ang mga pagtatasang batay sa pananaw ng mga tagasuri sa makasaysayang sipi ng talakayan, hindi mga pagkakamali sa moderasyon o tuntunin sa pagtanggal ng komento. Makakatulong ang worksheet na maaaring kopyahin sa ibaba para maitala ang pagkakaibang ito sa aktuwal na pagsusuri.
Isipin ang isang creator na nagpatingin sa katrabaho ng komentong mahirap hawakan. May dalawang label sa ipinasa niyang tala: may sumisipi o nag-uulat ng pag-atake, at may pag-atakeng nakatuon sa pinatutungkulan. Bago magpasya kung ano ang gagawin, kailangan pa ng katrabaho ang isang detalye: iisang tagasuri ba ang gumawa ng parehong obserbasyon?
Maaaring mawala sa isang buod ang pagkakaibang iyon. Posibleng isang tao ang pumili sa parehong opsiyon, o dalawang tao ang tumingin sa magkaibang aspeto ng iisang teksto. Hindi masasabi sa listahan lang ng mga label kung alin sa mga iyon ang nangyari. Maaari ring hindi maging malinaw kung aling mga salita ang inilalarawan ng bawat tao.
Sinaliksik namin ang tanong na iyon gamit ang mga indibidwal na pagtatasa mula sa isang umiiral na dataset para sa pananaliksik. Mula sa mga pahina ng talakayan sa Wikipedia ang orihinal na materyal. Dito, ginagamit ito para maging malinaw ang ugnayan ng mga label at tagasuri, at para matulungan ang negosyo o creator na pag-isipan kung anong impormasyon ang dapat manatili kapag ipinasa nila ang sarili nilang kaso.
Iugnay ang bawat obserbasyon sa tagasuri nito
Unawain muna kung ano talaga ang inilalarawan ng bawat label
Itinanong sa unang opsiyon kung ang teksto ay sumisipi o nag-uulat ng personal na pag-atakeng nagmula sa ibang komento. Ang ikalawa ay tungkol sa personal na pag-atakeng nakatuon sa pinatutungkulan. Maaaring pumili ang tagasuri ng higit sa isang opsiyon. Mga pagtatasa ito sa ipinakitang teksto, hindi pasya na itago ito o patunay na may nilabag na patakaran.[2]
Itinuring naming naroon ang isang label kapag pinili ito ng kahit isa sa 10 tagasuri. Kaya isinama sa paghahambing ang pagpili ng sinumang tagasuri. Hindi namin hiniling ang mayorya, itinuring na pinagkaisahan ang mga label, o sinubok kung tama ang mga ito.
Sa 13,824 napiling sipi, 12,025 ang walang alinman sa dalawang label na ito. May 406 pang may label ng pagsipi/pag-uulat pero walang label ng pag-atake sa pinatutungkulan, habang 1,238 ang may label ng pag-atake sa pinatutungkulan pero walang label ng pagsipi/pag-uulat. Naiwan ang 155 na may parehong label sa kanilang mga pagtatasa.
Tungkol lamang sa dalawang opsiyong ito ang mga paglalarawang iyon. Maaaring may ibang uri pa rin ng label ng pag-atake ang siping walang label ng pag-atake sa pinatutungkulan. Hindi nagpapatunay ang label ng pagsipi/pag-uulat na walang nakapipinsala sa teksto. Pinipigilan ng tumpak na pangalan na tahimik na maging mas malawak na konklusyon ang isang kapaki-pakinabang na kategorya.
Mga label sa 13,824 napiling sipi
Itinuring na naroon ang isang label kung pinili ito ng kahit isa sa 10 tagasuri. Tungkol sa dalawang tiyak na opsiyon ang limang kategoryang ito; ang kategoryang “Walang alinman sa dalawang label na ito” ay hindi nangangahulugang walang anumang uri ng label ng pag-atake ang sipi.
| Mga label ng pagsipi/pag-uulat at pag-atake sa pinatutungkulan | Mga sipi |
|---|---|
| Walang alinman sa dalawang label na ito | 12,025 |
| Label ng pagsipi/pag-uulat na walang label ng pag-atake sa pinatutungkulan | 406 |
| Label ng pag-atake sa pinatutungkulan na walang label ng pagsipi/pag-uulat | 1,238 |
| Parehong label, na may kahit isang pares mula sa iisang tagasuri | 98 |
| Parehong label, mula lamang sa magkaibang tagasuri | 57 |
May parehong label ang 57 sipi, pero walang tagasuring pumili sa pareho
Sa loob ng 155 sipi, sinuri namin ang indibidwal na sagot sa likod ng bawat label. Sa 98, may kahit isang taong pumili sa parehong opsiyon para sa iisang sipi. Sa 57, mula lamang sa magkaibang tao ang pagpili sa pagsipi/pag-uulat at pag-atake sa pinatutungkulan. Walang indibidwal na sagot sa 57 siping iyon na may parehong label.
Ang hati ay 63.2% na may pares ng label mula sa iisang tagasuri at 36.8% na ang mga label ay mula lamang sa magkaibang tagasuri. Bahagi ang dalawang grupo ng iisang set ng 155 sipi na may tiyak na pamantayan. Mahalaga pa rin ang mas malaking saklaw na 13,824 sipi dahil ipinapakita nito kung saan nagmula ang paghahambing na may kondisyong ito.[4]
Binabago ng pagkakaibang iyon ang maaaring sabihin mula sa isang buod. Kung alam na lumitaw ang parehong label, maaaring sabihing may pumili sa bawat isa sa set ng mga pagtatasa. Pero hindi sapat iyon para sabihing isang indibidwal na tagasuri ang naglarawan sa teksto sa parehong paraan.
Hindi rin nalulutas ng pagpili ng iisang tagasuri sa pareho kung ano ang ibig sabihin ng mga salita. Maaaring pinagsama sa isang sipi ang mga idinagdag sa isang rebisyon sa Wikipedia, kabilang ang higit sa isang post. Hindi ipinapakita ng pagpili ng isang tagasuri sa parehong opsiyon na ang mismong bahaging sinipi ang pag-atake sa pinatutungkulan. Hindi namin binasa ang bawat indibidwal na sipi para ipaliwanag ang mga pagtatasa rito.[2][6]
57 sa 155 sipi ang walang pares mula sa iisang tagasuri
Kasama lamang sa paghahambing na ito ang 155 napiling siping may parehong label sa kanilang 10 pagtatasa. Batay ito sa pagpili ng sinumang tagasuri, hindi sa pagkakasundo ng mayorya o napatunayang kinalabasan ng moderasyon.
| Sino ang nagbigay ng dalawang label | Mga sipi | Porsiyento ng 155 sipi |
|---|---|---|
| May kahit isang tagasuring pumili sa pareho | 98 | 63.2% |
| Mula lamang sa magkaibang tagasuri ang mga label | 57 | 36.8% |
Ibigay sa susunod na tagasuri ang obserbasyon sa likod ng label
Sa negosyo, maaaring ipasa ang kaso ng taong nagbabantay sa mga komento sa namamahala sa account. Para sa creator, maaaring mula ito sa assistant papunta sa creator. Kailangang maunawaan ng susunod na tao kung ano ang napansin bago magpasya kung sasagot, hihingi ng dagdag na konteksto, o ilalapat ang umiiral na patakaran ng account.
Panatilihing magkakasama ang mga pinili ng bawat tao. Kung parehong opsiyon ang pinili ng isang tagasuri, itala ang pares na iyon bilang pagtatasa niya. Kung magkaibang opsiyon ang pinili ng dalawang tagasuri, panatilihing magkahiwalay ang kanilang sagot. Maaaring magkaroon ng higit sa isang pagbasa sa isang kaso nang hindi pinagsasama ang mga iyon bilang pagtatasang walang sinumang gumawa.
Pagkatapos, magdagdag ng maikling paliwanag tungkol sa mahalagang bahagi ng teksto. Sa sarili mong proseso, tukuyin kung ano ang tila sinipi, sino ang tila pinatutungkulan, at aling kalapit na sagot ang nakatutulong para maunawaan ang palitan. Ipakita kung ano ang hindi pa tiyak kapag hindi sapat ang kontekstong mayroon. Mga praktikal na mungkahi ang mga ito; hindi sinubok ng dataset ang epekto ng mga ito sa mga pasya.
Maaaring sapat na ang maikling tala. Layunin nitong masundan ng susunod na tao ang pangangatwiran ng nauna nang hindi inuulit ang buong pagsusuri mula sa simula. Para sa team na nagpapasahan ng kaso sa pagitan ng mga shift o sa pagitan ng brand at creator, ibig sabihin nito ay ipasa ang orihinal na obserbasyon kasama ang kategoryang inilapat dito.
Kathang-isip na halimbawa na may magkaparehong bilang ng label
Tingnan ang dalawang kathang-isip na panel ng tagasuri, bawat isa ay may 10 taong tumatasa sa isang kathang-isip na sipi. Ipinapaliwanag ng mga panel ang pagbilang; hindi sila aktuwal na tao, siniping pahayag, o kaso mula sa dataset. Parehong may isang pagpili sa pagsipi/pag-uulat at isang pagpili sa pag-atake sa pinatutungkulan ang dalawang buod.[8]
Sa unang panel, pinili ni Tagasuri A ang parehong opsiyon. Wala sa dalawang opsiyong ito ang pinili ng natitirang 9 na tao. May isang taong nasa sagot ang pares ng label. Maaaring tumpak na panatilihin sa ipinapasang tala ang pinagsamang pagtatasa ng taong iyon, habang hiwalay pang pagpapasyahan ang huling aksiyon.
Sa ikalawang panel, pinili ni Tagasuri A ang pagsipi/pag-uulat at ni Tagasuri B ang pag-atake sa pinatutungkulan. Wala sa dalawang opsiyon ang pinili ng natitirang 8. Isa at isa pa rin ang kabuuan sa mga field, pero walang taong pumili sa pareho. Kung tatawagin itong pinagsamang pagtatasa ng isang tao, magdaragdag iyon ng ugnayang wala sa mga indibidwal na sagot.
Ipinapaliwanag din ng halimbawa kung bakit mga sipi ang binilang namin sa halip na pagdagdagin ang bawat taong tumugma sa pattern. Kung dalawang tao sa unang panel ang kapwa pumili sa parehong label, isang beses pa rin papasok ang sipi sa grupong may pares mula sa iisang tagasuri. Ang tanong sa pag-uuri ay kung may ganitong pares, hindi kung ilang tao ang nagbigay nito.
Para sa ikalawang panel, maaaring ganito ang maikling kathang-isip na talang ipapasa: “Wala pang pinal na pasya. Natukoy ni Tagasuri A ang pagsipi/pag-uulat; natukoy ni Tagasuri B ang pananalitang nakatuon sa pinatutungkulan. Panatilihin ang parehong tala kasama ang sipi at naunang sagot dito. Titingnan ng namamahala sa account kung aling bahagi ang ibig sabihin ng bawat tagasuri bago pumili ng aksiyon.” Ipinapasa ng tala ang tanong na hindi pa nalulutas nang hindi ginagawang konklusyon ng isang tao ang mga sagot ng dalawa.
Sa aktuwal na pagpapasa ng kaso, panatilihin ang dalawang magkahiwalay na tala sa ikalawang panel. Maaaring basahin ng susunod na tagasuri ang mga ito kasabay ng teksto, linawin ang ibig sabihin ng bawat tao, at magpasya ayon sa patakaran ng account. Hindi pinatutunayan ng pag-aaral kung tama ang alinmang tagasuri o kung anong aksiyon ang dapat gawin sa kathang-isip na kasong iyon.
Maaaring mula sa magkaibang pattern ng pagsusuri ang parehong bilang ng label
Isang tagasuri ang pumili sa pareho
Sa unang kathang-isip na panel, isang tao ang pumili sa parehong label at 9 ang wala sa dalawang opsiyong ito ang pinili.
Dalawang tagasuri ang tig-isang pinili
Sa ikalawa, isang tao ang pumili sa pagsipi/pag-uulat at isa naman sa pag-atake sa pinatutungkulan. Wala sa dalawang opsiyon ang pinili ng natitirang 8.
Ihiwalay ang pasya ayon sa patakaran sa paglalarawan ng teksto
Magkaiba ang layunin ng paglalarawan kung ano ang nasa komento at ng pagpapasya kung ano ang gagawin dito. Maaaring mapansin ng tagasuri ang siniping pananalita habang kailangan pang isaalang-alang ng namamahala sa account ang nakapaligid na usapan at umiiral na patakaran. Panatilihing magkahiwalay ang mga hakbang para makita ng susunod na babasa kung paano nabuo ang pasya.
Para sa negosyong nakikipagtulungan sa creator, pag-usapan kung sino ang magpapasya bago pa dumating ang mahirap na palitan ng mensahe. Maaaring hindi ang taong nakauunawa sa reklamo tungkol sa produkto ang awtorisadong magbago ng paraan ng moderasyon ng account. Maaaring tukuyin sa malinaw na pagpapasa ng kaso ang dalawang tungkulin nang hindi ipinapalagay na kailangan ng maraming tagasuri sa bawat kaso.
Para sa creator na nagtatrabaho nang mag-isa, maaaring ilagay ang parehong pagkakaiba sa isang tala: ano ang napansin mo, anong konteksto ang sinuri mo, at ano ang napagpasyahan mo. Kayang gawin ng isang tao ang ilang hakbang habang malinaw ang layunin ng bawat isa. Hindi ipinapakita ng dataset na mas gumaganda ang resulta kapag nagdagdag ng tauhan o isa pang antas ng pagsusuri.
Panatilihing magkahiwalay ang mga obserbasyon hanggang maunawaan mo ang ugnayan ng mga ito. Maaaring magkaiba lamang ang pokus ng mga pumili, sa halip na magkasalungat ang kanilang paliwanag. Hindi awtomatikong eksepsiyon ang pagpili sa pagsipi/pag-uulat. Hindi rin rekomendasyong mag-delete na nasuri sa pag-aaral ang pagpili sa pag-atake sa pinatutungkulan. Ang kapaki-pakinabang na susunod na aksiyon ay iyong sinusuportahan ng aktuwal na palitan at mga tuntunin ng account, hindi ng aksiyong hinango lang sa mga porsiyento ng aming archive.
Worksheet sa pagsusuri ng komento na maaari mong kopyahin
Kopyahin ang mga field na ito sa kasalukuyan mong dokumento sa pagsusuri o talang ipapasa. Gamitin lang ang impormasyong kailangan ng team, at limitahan ang access ayon sa usapan. Makukuha ang worksheet dito nang hindi nagsa-sign up; praktikal na gabay ito, hindi prosesong naobserbahan sa pag-aaral.[8]
Kaso: [Link o panloob na sanggunian.] Account/channel: [Kung saan makikita ang palitan.] Oras ng pagsusuri: [Petsa at oras.] Panatilihing hindi nagbabago ang sanggunian para makita ng susunod na tao ang parehong materyal.
Layunin: [Anong tanong ang kailangang pagpapasyahan?] Responsable: [Sino ang magpapasya?] Susunod na tao: [Kanino kailangang ipasa ang kaso, kung mayroon?]
Ipinakitang teksto: [Ang bahaging sinusuri, na nakaimbak sa aprubadong workspace.] Kalapit na konteksto: [Mga kaugnay na nauna o sumunod na sagot.] Kulang na konteksto: [Ano ang hindi nasuri.]
Tagasuri: [Pangalan o panloob na sanggunian ng tagasuri.] Oras ng pagtatasa: [Petsa at oras.] Panatilihing magkahiwalay ang tala ng bawat tao, kahit magkapareho ang label na ginagamit ng ilan.
Obserbasyon sa pagsipi/pag-uulat: [Oo, hindi, o hindi malinaw.] Batayan: [Aling bahagi ang tila sumisipi o nag-uulat ng pag-atake ng ibang tao?] Huwag gamitin ang field na ito para magpasyang walang nakapipinsala sa teksto.
Obserbasyon sa pag-atake sa pinatutungkulan: [Oo, hindi, o hindi malinaw.] Batayan: [Aling bahagi ang tila nakatuon sa pinatutungkulan, at bakit?] Panatilihing hiwalay ang sagot na ito sa obserbasyon sa pagsipi/pag-uulat.
Iba pang kaugnay na obserbasyon: [Anumang ibang isyung kailangang isaalang-alang ayon sa patakaran ng account.] Huwag ituring na kumpletong paglalarawan ng palitan ang kawalan ng isa sa dalawang label ng pag-aaral.
Ugnayan ng mga pagsusuri: [Isang tao ang pumili sa pareho, magkaibang tao ang pumili sa magkaibang opsiyon, o hindi malinaw.] Kung magkakaiba ang kanilang pinili, panatilihin ang kanilang indibidwal na tala bago ibuod ang kaso.
Sanggunian sa patakaran: [Ang naaangkop na tuntunin o gabay.] Pasya: [Ang aktuwal na piniling aksiyon, o tanong na hindi pa nalulutas.] Dahilan: [Paano sinusuportahan ng obserbasyon at konteksto ang pasyang iyon.]
Susunod na gagawin: [Sino ang gagawa ng ano, kung may kailangan pang gawin?] Oras ng pagpapasa: [Kailan ito ipapasa sa taong iyon.] Kinalabasan: [Ano ang nangyari pagkatapos ng pasya, kung sinuri.] Huwag markahang tapos ang aksiyong balak pa lamang gawin.
Suriin muli kapag: [Isang tiyak na pangyayari o kulang na konteksto, kung kailangang balikan.] Hindi hinihingi ng worksheet na paulit-ulit na suriin ang bawat kaso; gumamit ng dahilang angkop sa sitwasyon.
Napanatili sa pagsusuri ng taon ang parehong 155 sipi
Nagtakda kami ng dalawang pantulong na pagsusuri bago kalkulahin ang mga pares ng label. Sa una, inalis ang mga siping may taong 2016 dahil lumampas ang saklaw ng taon sa inilabas na mga file sa mga panahong inilarawan sa buod ng source at orihinal na papel. Naiwan ang 13,809 kuwalipikadong sipi sa random sample. May parehong label pa rin ang mismong 155 sipi, na may kaparehong hati na 98/57.[5]
Ginamit sa isa pang pagsusuri ang hiwalay na sample ng materyal mula sa paligid ng mga pangyayaring may pag-block. Sa parehong tuntuning eksaktong 10 pagtatasa, mayroon itong 42,383 sipi. Sa 2,457 na may parehong label sa mga pagtatasa, 1,354 ang may pares mula sa iisang tagasuri at 1,103 ang may mga label mula lamang sa magkaibang tao: 55.1% at 44.9%, ayon sa pagkakasunod.
Iba ang layunin ng pagkuha sa sample na dinagdagan ng materyal mula sa paligid ng mga pangyayaring may pag-block, kaya pinanatili namin itong hiwalay. Hindi pumapalit ang mga porsiyento nito sa pangunahing resulta at hindi ito ebidensiya tungkol sa kasalukuyang komento sa mga brand. Tinutugunan ng pagsusuri ng taon ang naitalang saklaw ng petsa; kailangan pa ring unawain ang dalawang pagsusuri bilang mga pagtatasang batay sa pananaw ng mga tagasuri sa napiling makasaysayang sipi.
Paghahambing ng dalawang naunang itinakdang pagsusuri
Gumagamit ang bawat hanay ng eksaktong 10 kumpletong pagtatasa bawat sipi. Hiwalay ang layunin ng pagkuha sa sample na dinagdagan ng materyal sa paligid ng pag-block. Tinutugunan ng pag-alis sa 2016 ang pagkakaiba sa saklaw ng taon sa inilabas na file at sa paglalarawan ng source.
| Paghahambing na naunang itinakda | Mga kuwalipikadong sipi | Mga siping may parehong label sa kanilang mga pagtatasa | May pares mula sa iisang tagasuri | Mula lamang sa magkaibang tagasuri | Porsiyentong mula lamang sa magkaibang tagasuri sa mga siping may parehong label |
|---|---|---|---|---|---|
| Random sample, eksaktong 10 pagtatasa | 13,824 | 155 | 98 | 57 | 36.8% |
| Sample na dinagdagan ng materyal sa paligid ng pag-block, pinanatiling hiwalay | 42,383 | 2,457 | 1,354 | 1,103 | 44.9% |
| Random sample na hindi kasama ang 2016 | 13,809 | 155 | 98 | 57 | 36.8% |
Paano namin iniugnay ang mga label sa indibidwal na pagtatasa
Ginamit namin ang bersiyon 6 ng Wikipedia Talk Labels: Personal Attacks, isang pampublikong dataset mula sa proyektong Wikipedia Detox. Nasa inilabas na mga file ang tekstong mula sa makasaysayang rebisyon ng mga pahina ng talakayan at maraming pagtatasa ng mga kalahok sa crowdsourcing para sa bawat sipi. Ginamit sa pagsusuring ito ang indibidwal na mga sagot; hindi ito gumawa ng bagong pagtatasa o sumuri sa isang sistema ng moderasyon.[1][2]
Nagsimula ang pangunahing paghahambing sa grupo ng random sample sa inilabas na dataset at pinanatili ang mga siping may eksaktong 10 kumpletong pagtatasa mula sa magkakaibang tao. Sa nakapirming bilang na 10, pareho ang dami ng pagkakataon ng bawat sipi na makatanggap ng pagpili sa parehong label. Napili rin sa paraang ito ang 13,824 sa 37,492 inilabas na sipi ng random sample, kaya hindi inilalarawan ng resulta ang buong grupong iyon.[3]
Isang bilang ang ambag ng bawat napiling sipi. Sinuri namin kung lumitaw ang alinman sa dalawang label sa mga pagtatasa, at pagkatapos kung lumitaw ang pareho sa sagot ng iisang tao sa parehong sipi. Hindi nagsasapawan ang limang kategorya at 13,824 ang kabuuan ng mga ito. Mula sa dalawang kategoryang may parehong label ang denominator na 155 sipi, hindi mula sa lahat ng pagtatasa o lahat ng sipi sa source.[4]
Bago tingnan ang mga pares, itinakda na namin ang mga grupo ng sample, tuntunin sa saklaw, pagsusuri ng taon, at minimum na 100 sipi sa pangunahing paghahambing na may kondisyon. Natugunan ng naobserbahang 155 ang pamantayang iyon. Hindi kami nagtakda ng kinakailangang porsiyento, nagbago ng tuntunin para pumabor sa resulta, o nagsama ng materyal mula sa paligid ng pag-block sa random na grupo.
Gumamit na ang orihinal na pananaliksik ng mga indibidwal na pagtatasa, at pinagsama sa sumunod na pananaliksik ang bawat field ng pag-atake ayon sa mayorya. Mas tiyak ang aming ambag: isang mapaglarawang paghahambing kung sino ang nagbigay sa dalawang opsiyon sa loob ng nakapirming set ng pagtatasa. Hindi ito pagwawasto sa mga pamamaraan ng mga pag-aaral na iyon. Makukuha sa download ang pinagsama-samang resulta, pamamaraan, at mga tagubilin sa pag-ulit ng pagsusuri gamit ang hiwalay na makukuhang pampublikong source file.[6][7]
Gawing mas madaling sundan ang susunod na pagsusuri
Ang kapaki-pakinabang na tanong sa pagpapasa ng kaso ng moderasyon sa social media ay kung sino ang gumawa ng bawat obserbasyon at ano ang inilalarawan niya. Sa paghahambing na ito ng napiling archive, walang indibidwal na tagasuring pumili sa parehong label sa 57 sa 155 siping may pareho. Mawawala ang ugnayang iyon sa buod na pangalan lamang ng dalawang label ang laman.
Panatilihing magkakaugnay ang mga obserbasyon ng tao, mahalagang konteksto, at huling pasya. Sa ganitong paraan, maipapaliwanag ng negosyo o creator kung ano ang nasa kaso at bakit pinili ang aksiyon, nang hindi inaasahang gagampanan ng isang label ng kategorya ang buong pagsusuri.
- I-download ang lahat ng ipinakitang resulta (CSV)
- I-download ang mga resulta, pamamaraan at worksheet sa pagsusuri (ZIP)
Hindi kailangang mag-sign up. Kasama sa package ang pinagsama-samang resultang walang pangalan, pamamaraan, tagubilin sa pag-ulit ng pagsusuri, at worksheet na maaaring gamitin muli. Wala itong orihinal na teksto ng talakayan, ID ng rebisyon, ID ng manggagawa, o demograpikong impormasyon. Hiwalay na makukuha ang orihinal na pampublikong source file sa naka-link na release.
Mga sanggunian at tala
- Sanggunian: Wikipedia Talk Labels: Personal Attacks, bersiyon 6 sa Figshare, DOI 10.6084/m9.figshare.4054689.v6, na inilabas noong Pebrero 2017 sa ilalim ng CC0. Ginamit namin ang attack_annotated_comments.tsv (file 7554634) at attack_annotations.tsv (file 7554637), na sinuri gamit ang MD5 ng producer at SHA-256 na hiwalay naming kinalkula. Natapos ng Influence IQ ang pagpili, pagkalkula, at interpretasyon noong Oktubre 25, 2026 (UTC). Hindi nangolekta ang pag-aaral ng bagong komento, gumawa ng bagong anotasyon, o sumukat ng aktuwal na gumaganang social platform.
- Tinutukoy ng producer ang quoting_attack bilang pananaw ng manggagawa na sumisipi/nag-uulat ng pag-atake mula sa ibang komento, at ang recipient_attack bilang pag-atakeng nakatuon sa pinatutungkulan. Pinahintulutan ng interface ang maraming pagpili. Hiwalay na sagot sa source ang pangkalahatang pag-atake, hindi OR na binuo muli mula sa mga subtype sa pagsusuring ito. Pinagdurugtong ng inilabas na teksto ang mga idinagdag sa loob ng isang rebisyon; hindi ito buod ng pag-edit at hindi nangangahulugang isa itong buong post o kumpletong pag-uusap. Nananatili ang dokumentadong kahulugan ng mga namespace ng talakayan, grupo ng sample, at paghahating train/dev/test ng modelo.
- May 115,864 natatanging sipi, 1,365,217 natatanging pares ng rebisyon/manggagawa sa mga pagtatasa, at 4,053 manggagawa ang kumpletong mga file. Walang nakitang dobleng pares, pagdurugtong na walang katugma, sirang row, o nawawala/di-wastong halaga ng flag sa pagsusuri ng istruktura. Kinailangan ang eksaktong 10 kumpletong pagtatasa mula sa magkakaibang tao sa lahat ng 5 flag ng source upang maging kuwalipikado; isinama ang parehong dokumentadong namespace ng talakayan at lahat ng paghahati ng modelo, at isang bilang na may pantay na timbang ang bawat sipi. Napanatili sa pangunahing random na grupo ang 13,824 sa 37,492 sipi. Napanatili sa hiwalay na grupong dinagdagan ng materyal mula sa paligid ng pag-block ang 42,383 sa 78,372. Wasto ang pag-ulit ng manggagawa sa magkakaibang sipi; walang ginawang pagsasama ng magkaparehong teksto, pagtanggal batay sa pagkakatugma ng mga flag, o muling pag-code sa pangkalahatang pag-atake.
- Itakda ang Q bilang anumang pagpili sa pagsipi/pag-uulat at ang R bilang anumang pagpili sa pag-atake sa pinatutungkulan para sa kuwalipikadong sipi. Para maituring na naroon ang pareho sa mga pagtatasa, kailangan ng kahit isang Q at isang R sa loob ng 10 pagtatasa. Para sa pares mula sa iisang tagasuri, kailangan ding may Q at R sa isang sagot ng rebisyon/manggagawa; walang ganitong sagot sa kategoryang mula lamang sa magkaibang tagasuri. Ang pangunahing denominator na may kondisyon ay 98 + 57 = 155; ipinapakita ang eksaktong fraction na 98/155 at 57/155 bilang 63.2% at 36.8%. Gumagamit ang mga porsiyento ng eksaktong pagkukuwenta ng mga fraction at half-up na pag-round sa 1 decimal. Bago kalkulahin ang mga pares, nagtakda kami ng hindi bababa sa 100 siping may parehong label para sa pangunahing paghahambing na may kondisyon, nang walang itinakdang paborableng porsiyento. Walang ginawang confidence interval para sa populasyon, pagsubok ng significance, pahayag na independiyente ang mga obserbasyon, o pagtataya ng katumpakan.
- Sa naunang itinakdang sensitivity check sa sample na dinagdagan ng materyal mula sa paligid ng pag-block, ginamit ang parehong tuntuning eksaktong 10 pagtatasa at pinanatili itong hiwalay sa pangunahing random sample. Ang limang bilang ay 20,911 na walang alinman sa dalawang label na ito, 959 na may label ng pagsipi/pag-uulat pero walang label ng pag-atake sa pinatutungkulan, 18,056 na may label ng pag-atake sa pinatutungkulan pero walang label ng pagsipi/pag-uulat, 1,354 na parehong label mula sa iisang tagasuri, at 1,103 na parehong label mula lamang sa magkaibang tagasuri; kabuuang 42,383, na may denominator na 2,457 para sa paghahambing na may kondisyon. Matapos alisin ang 2016 sa pangunahing random sample, 13,809 sipi ang natira, na may limang bilang na 12,012 / 406 / 1,236 / 98 / 57 sa parehong pagkakasunod. Hindi nagbago ang 155 sipi sa paghahambing na may kondisyon at ang hati ng pares na 98/57. Mga mapaglarawang pagsusuri ang mga ito, hindi independiyenteng pag-ulit sa populasyon o patunay na maihahambing ang mga grupo ng sample.
- Nagsilbing pundasyon ng crowdsourcing at pagmomodelo ang Ex Machina: Personal Attacks Seen at Scale nina Wulczyn, Thain at Dixon noong 2017. Napanatili sa papel nina Cécillon at mga kasama sa WAC noong 2020 ang matrix ng manggagawa ayon sa field at pinagsama nang hiwalay ang bawat field ng pag-atake batay sa mayorya. Mga umiiral na pamamaraan ang mga iyon, hindi mga pagkakamaling napatunayan ng pag-aaral na ito. Gumagamit ang aming paghahambing ng paglitaw ng label sa kahit isa sa 10 pagtatasa at ng pares sa iisang sagot, hindi ng pagganap ng label ng mayorya. Binibilang sa paghahambing ng Influence IQ kung ang dalawang opsiyon ay mula sa iisang tagasuri o mula lamang sa magkaibang tagasuri sa loob ng bawat napiling sipi.
- Inilalarawan sa buod ng source ang 2001–2015 at sa orihinal na papel ang 2004–2015; may mga halagang taon na 2001–2016 ang nakapirming mga file ng bersiyon 6. Ayon sa schema ng producer, 0/1 ang naka-log-in na status, samantalang False/True ang ginagamit ng inilabas na file; 0.0/1.0 naman ang mga string ng binary flag. Pinanatili namin ang mga pagkakaibang ito sa dokumentasyon at naobserbahang data nang hindi nagtatalaga ng sanhi. Tinatanggap ng parser ang eksaktong literal sa inilabas na file, nang walang pag-round o sapilitang pag-convert ng mga halaga ng label. Nasa package ang dokumentasyon ng mga bersiyon ng source, tuntunin sa pagpili, at hakbang sa pag-ulit ng pagsusuri mula sa pampublikong mga file.
- Kathang-isip na halimbawa para sa pagkatuto ang dalawang panel na may tig-10 tagasuri, mga sagot nina Tagasuri A/B, at mga pagpili sa pagpapasa ng kaso. Wala itong orihinal na teksto ng talakayan o mga identifier mula sa dataset. May isang pagpili sa pagsipi/pag-uulat at isang pagpili sa pag-atake sa pinatutungkulan ang parehong kathang-isip na panel, pero ang una lamang ang may pares mula sa iisang tao. Praktikal na paliwanag ang worksheet at mga ilustrasyon ng konsepto, hindi naobserbahang proseso sa source, nasubok na patakaran ng moderasyon, o garantiya ng mas mabuting pasya.
Direktang isinalin mula sa orihinal na Ingles ang lahat ng bersiyon sa ibang wika. Inilalarawan ng bawat edisyon ang parehong makasaysayang dataset ng Wikipedia sa Ingles at ang parehong napiling pagtatasa. Hindi nagiging mga resulta para sa lokal na merkado ang mga natuklasan dahil lamang sa pagsasalin. Responsable ang Influence IQ sa pagsusuri, interpretasyon, at mga salin.