2 modereringsetiketter kan komme fra ulike vurderere

En overlevering av en kommentarsak kan vise 2 etiketter uten å vise hvem som valgte dem. Historiske Wikipedia-vurderinger viser hvorfor denne manglende detaljen betyr noe for den neste som leser saken.

Original analyse fra Influence IQ av utvalgte vurderinger i det historiske datasettet Wikipedia Detox om personangrep. Analysen ble fullført 25. oktober 2026 (UTC).

Sammendrag

Blant 13 824 utvalgte historiske utdrag fra Wikipedia-diskusjoner fikk 155 både en etikett for sitat eller gjengivelse og en etikett for angrep rettet mot mottakeren et sted i sine 10 individuelle vurderinger. I 98 av disse 155 utdragene valgte minst 1 vurderer begge etikettene. I de øvrige 57, eller 36,8 %, kom etikettene bare fra ulike vurderere. Prosentandelen gjelder disse 155 utdragene, ikke alle de 13 824.[1][4]

For virksomheter og innholdsskapere som håndterer kommentarer i sosiale medier, gjelder det praktiske poenget overleveringen: Hold hver vurderers observasjoner knyttet til den personens vurdering. At 2 etiketter vises sammen, betyr ikke at 1 person valgte begge. Studien beskriver subjektive vurderinger av historiske diskusjonsutdrag, ikke modereringsfeil eller en regel for å fjerne en kommentar. Skjemaet du kan kopiere nedenfor, gjør skillet til et praktisk vurderingsnotat.

Se for deg at en innholdsskaper ber en kollega se på en vanskelig kommentar. Saken overleveres med 2 etiketter: Noen siterer eller gjengir et angrep, og noen retter et angrep mot mottakeren. Før kollegaen bestemmer hva som skal gjøres, trengs 1 opplysning til: Gjorde samme vurderer begge observasjonene?

Dette er et reelt skille som kan forsvinne i et sammendrag. 1 person kan ha valgt begge alternativene, eller 2 personer kan ha lagt merke til ulike sider ved samme tekst. En etikettliste alene forteller ikke neste vurderer hvilket mønster som forekom. Den kan også gjøre det uklart hvilke ord hver person beskrev.

Vi undersøkte spørsmålet med individuelle vurderinger fra et etablert forskningsdatasett. Det opprinnelige materialet kom fra Wikipedias diskusjonssider. Her brukes det til å synliggjøre sammenhengen mellom etiketter og vurderere, og deretter hjelpe en virksomhet eller innholdsskaper å tenke gjennom hvilken informasjon egen overlevering bør bevare.

Behold koblingen mellom hver observasjon og vurdereren

2 egne kort med notater fra vurderere er knyttet til 1 større kort med diskusjonstekst, og en sirkel og en firkant markerer opphavet til hvert notat.
Prinsippskisse. Separate notater fra vurderere er koblet til det samme diskusjonsutdraget. Samsvarende former gjør det lettere å se hvor hver observasjon kom fra.

Start med hva hver etikett faktisk beskriver

Det første alternativet spurte om teksten siterte eller gjenga et personangrep fra en annen kommentar. Det andre gjaldt et personangrep rettet mot mottakeren. Vurdererne kunne velge mer enn 1 alternativ. Dette var vurderinger av teksten de fikk se, ikke avgjørelser om å skjule den eller bevis på at en regel var brutt.[2]

Vi regnet en etikett som til stede når minst 1 av de 10 vurdererne valgte den. Sammenligningen tok dermed med valg fra enhver vurderer. Vi krevde ikke flertall, beskrev ikke etikettene som enighet og testet ikke om de var riktige.

Av de 13 824 utvalgte utdragene hadde 12 025 ingen av disse 2 etikettene. Ytterligere 406 hadde en etikett for sitat eller gjengivelse uten etiketten for angrep mot mottakeren, mens 1 238 hadde etiketten for angrep mot mottakeren uten etiketten for sitat eller gjengivelse. Da gjensto 155 med begge etikettene et sted i vurderingene.

Disse beskrivelsene gjelder bare de 2 alternativene. Et utdrag uten etiketten for angrep mot mottakeren kunne fortsatt ha en annen type angrepsetikett. En etikett for sitat eller gjengivelse bekrefter ikke at teksten var harmløs. Presise navn hindrer at en nyttig kategori ubemerket blir til en bredere konklusjon.

Slik fordelte etikettene seg på de 13 824 utvalgte utdragene

En etikett ble regnet som til stede hvis minst 1 av de 10 vurdererne valgte den. Disse 5 kategoriene gjelder 2 bestemte alternativer. «Ingen av dem» betyr ikke at utdraget manglet alle typer angrepsetiketter.

Antall i 5 gjensidig utelukkende kategorier av de 13 824 utvalgte historiske utdragene, inndelt etter om etiketter for sitat eller gjengivelse av et personangrep og for personangrep rettet mot mottakeren forekom, og om samme vurderer valgte begge
Etiketter for sitat eller gjengivelse av et personangrep og for personangrep rettet mot mottakerenUtdrag
Ingen av disse 2 etikettene12 025
Sitat eller gjengivelse av et personangrep, uten personangrep rettet mot mottakeren406
Personangrep rettet mot mottakeren, uten sitat eller gjengivelse av et personangrep1 238
Begge etikettene, og minst 1 vurderer valgte begge98
Begge etikettene, valgt bare av ulike vurderere57
Kilde: Influence IQs analyse av utdrag fra det tilfeldige utvalget i Wikipedia Talk Labels: Personal Attacks versjon 6, valgt ut med nøyaktig 10 vurderinger hver. Summen av alle 5 antallene er 13 824. De 2 siste kategoriene danner den betingede gruppen på 155.[1][3][4]

57 utdrag hadde begge etikettene, men ingen vurderer valgte begge

Blant de 155 utdragene kontrollerte vi den individuelle responsen bak hver etikett. I 98 valgte minst 1 person begge alternativene for det samme utdraget. I 57 kom valgene av sitat/gjengivelse og angrep rettet mot mottakeren bare fra ulike personer. Ingen individuell respons i disse 57 inneholdt paret.

Fordelingen var 63,2 % med et par fra samme vurderer og 36,8 % med etiketter bare fra ulike vurderere. Begge gruppene tilhørte den samme snevert definerte gruppen på 155 utdrag. Den større rammen på 13 824 utdrag er fortsatt viktig fordi den viser hvor denne betingede sammenligningen startet.[4]

Skillet endrer hva du kan hevde ut fra et sammendrag. Når begge etikettene forekom, kan du si at hver av dem ble valgt et sted blant vurderingene. Det gir ikke i seg selv grunnlag for å si at en enkelt vurderer beskrev teksten på begge måter.

Heller ikke mønsteret med samme vurderer avgjør hva ordene betydde. Et kildeutdrag kunne samle tillegg fra 1 Wikipedia-revisjon, også fra mer enn 1 innlegg. At 1 vurderer valgte begge alternativene, viser ikke at selve det siterte avsnittet var angrepet mot mottakeren. Vi undersøkte ikke enkeltutdrag for å forklare vurderingene av dem.[2][6]

I 57 av de 155 utdragene valgte ingen vurderer begge etikettene

Denne sammenligningen omfatter bare de 155 utvalgte utdragene der begge etikettene forekom et sted blant de 10 vurderingene. Den bruker valg fra minst 1 vurderer, ikke flertallsenighet eller bekreftede modereringsutfall.

Antall og prosentandeler betinget på de 155 utvalgte utdragene med begge etikettene, fordelt etter om samme vurderer valgte begge eller bare ulike vurderere gjorde det
Hvem valgte de 2 etikettene?UtdragAndel av de 155 utdragene
Minst 1 vurderer valgte begge9863,2 %
Etikettene kom bare fra ulike vurderere5736,8 %
I hvert av 98 utdrag valgte minst 1 vurderer begge etikettene: 98/155, eller 63,2 %. I 57 forekom begge etikettene bare hos ulike vurderere: 57/155, eller 36,8 %. Nevneren er 155, innenfor en hovedgruppe på 13 824 utvalgte historiske utdrag.[4]

Gi neste vurderer observasjonen bak etiketten

I en virksomhet kan en sak gå fra den som følger med på kommentarene, til den som har ansvar for kontoen. For en innholdsskaper kan den gå fra en assistent til innholdsskaperen selv. Neste person må forstå hva som ble lagt merke til, før det avgjøres om man skal svare, be om mer kontekst eller bruke kontoens eksisterende retningslinjer.

Hold hver persons valg samlet. Hvis en vurderer velger begge alternativene, bevar paret som den personens vurdering. Hvis 2 vurderere velger ulike alternativer, behold responsene hver for seg. En sak kan romme mer enn 1 lesning uten at de gjøres om til en vurdering ingen faktisk ga.

Legg så til en kort forklaring av det relevante tekstpartiet. I din egen arbeidsflyt bør du angi hva som ser ut til å være sitert, hvem som ser ut til å bli tiltalt, og hvilket svar rundt kommentaren som bidrar til å forklare utvekslingen. La usikkerheten være synlig når tilgjengelig kontekst ikke besvarer spørsmålet. Dette er praktiske forslag; datasettet testet ikke virkningen deres på avgjørelser.

Et kort notat kan være nok. Målet er at neste person skal kunne følge den første personens resonnement uten å rekonstruere hele vurderingen. For et team som overfører saker mellom vakter eller mellom en merkevare og en innholdsskaper, betyr det å gi videre både den opprinnelige observasjonen og kategorien som er knyttet til den.

Et oppdiktet eksempel med like totaltall for etikettene

Se på 2 oppdiktede vurderingspaneler, hvert med 10 personer som vurderer 1 tenkt utdrag. Panelene illustrerer regnestykket; de er ikke faktiske personer, sitater eller saker fra datasettet. Begge sammendragene viser 1 valg av sitat/gjengivelse og 1 valg av angrep rettet mot mottakeren.[8]

I det første panelet velger vurderer A begge alternativene. De andre 9 velger ingen av disse 2 alternativene. Det finnes 1 person med en respons som inneholder paret. En overlevering kan bevare denne personens samlede vurdering korrekt og samtidig la den endelige handlingen avgjøres separat.

I det andre panelet velger vurderer A sitat/gjengivelse, mens vurderer B velger angrep rettet mot mottakeren. De resterende 8 velger ingen av alternativene. Felttotalene er fortsatt 1 og 1, men ingen person valgte begge. Å kalle dette 1 persons samlede vurdering ville legge til en sammenheng som de individuelle responsene ikke inneholder.

Eksempelet viser også hvorfor vi telte utdrag i stedet for å legge sammen alle personer med samsvarende valg. Hvis 2 personer i det første panelet hadde valgt begge etikettene hver for seg, ville utdraget fortsatt bare blitt telt 1 gang i gruppen med samme vurderer. Klassifiseringen spør om et slikt par fantes, ikke hvor mange personer som ga det.

For det andre panelet kunne et kort, oppdiktet overleveringsnotat lyde: «Avgjørelsen er fortsatt åpen. Vurderer A identifiserte sitat/gjengivelse; vurderer B identifiserte språk rettet mot mottakeren. Behold begge notatene sammen med utdraget og det tidligere svaret. Kontoens eier vil kontrollere hvilket tekstparti hver vurderer mente, før handlingen velges.» Notatet gir videre et uavklart spørsmål uten å skrive om 2 personers responser til 1 persons konklusjon.

I en virkelig overlevering må de 2 separate notatene fra det andre panelet beholdes. Neste vurderer kan lese dem sammen med teksten, spørre hva hver person mente, og ta avgjørelsen ut fra kontoens retningslinjer. Studien fastslår ikke om noen av vurdererne hadde rett, eller hvilken handling den oppdiktede saken burde føre til.

Ulike vurderingsmønstre kan gi de samme totaltallene for etikettene

2 rader viser identiske oppsummeringer av etikettene samlet. I øverste rad ligger begge markørene på kortet til 1 vurderer. I nederste rad er markørene fordelt på kortene til 2 vurderere.
  1. 1 vurderer velger begge

    I det 1. oppdiktede panelet velger 1 person begge etikettene, mens 9 ikke velger noen av disse 2 alternativene.

  2. 2 vurderere velger 1 hver

    Det 2. panelet har 1 person som velger sitat eller gjengivelse av et personangrep, og 1 annen som velger personangrep rettet mot mottakeren. De andre 8 velger ingen av de 2 alternativene.

Illustrasjon av de oppdiktede panelene. Kortene fremhever personene som valgte de 2 etikettene. Hvert panel omfatter også vurderere som ikke valgte noen av disse alternativene. Dette er ikke den målte fordelingen av de 155 utdragene i studien.

Hold avgjørelsen etter retningslinjene atskilt fra beskrivelsen

En beskrivelse av hva som ser ut til å finnes i en kommentar, og en avgjørelse om hva som skal gjøres med den, har ulike formål. En vurderer kan legge merke til sitert språk, mens kontoeieren fortsatt må vurdere samtalen rundt og gjeldende retningslinjer. Bevar disse trinnene hver for seg, slik at en senere leser kan se hvordan avgjørelsen ble tatt.

En virksomhet som samarbeider med en innholdsskaper, bør avtale hvem som tar avgjørelsen før en vanskelig utveksling oppstår. Den som forstår en produktklage, er ikke nødvendigvis den som har fullmakt til å endre kontoens modereringspraksis. En tydelig overlevering kan navngi begge rollene uten å anta at hver sak trenger flere vurderere.

For en innholdsskaper som arbeider alene, kan samme skille stå i 1 notat: hva du la merke til, hvilken kontekst du kontrollerte, og hva du bestemte. 1 person kan utføre flere trinn og likevel holde formålene tydelige. Datasettet viser ikke at flere ansatte eller et ekstra vurderingsledd gir bedre resultater.

Hold ulike observasjoner atskilt til du forstår sammenhengen mellom dem. Forskjellige valg kan gjenspeile ulikt fokus, ikke nødvendigvis motstridende beskrivelser. Et valg av sitat/gjengivelse gir ikke automatisk unntak, og et valg av angrep mot mottakeren er ikke en målt anbefaling om å slette. Neste nyttige handling må støttes av den faktiske samtalen og kontoens regler, ikke utledes av prosentene i arkivanalysen vår.

Et skjema for kommentarvurdering du kan kopiere

Kopier feltene til vurderingsdokumentet eller overleveringen du allerede bruker. Ta bare med informasjonen teamet trenger, og gi tilgang som passer samtalen. Skjemaet er tilgjengelig her uten registrering; det er praktisk veiledning, ikke en prosess som ble observert i studien.[8]

Sak: [Lenke eller intern referanse.] Konto/kanal: [Hvor utvekslingen vises.] Kontrollert: [Dato og klokkeslett.] Behold en stabil referanse, slik at neste person finner det samme materialet.

Formål: [Hvilket spørsmål krever en avgjørelse?] Ansvarlig: [Hvem bestemmer?] Neste person: [Hvem trenger eventuelt overleveringen?]

Vist tekst: [Tekstpartiet som vurderes, bevart i det godkjente arbeidsområdet ditt.] Kontekst rundt: [Relevante tidligere eller senere svar.] Manglende kontekst: [Det som ikke kunne kontrolleres.]

Vurderer: [Navn eller intern vurdererreferanse.] Vurderingstidspunkt: [Dato og klokkeslett.] Behold hver persons oppføring separat, også når flere bruker de samme etikettene.

Observasjon av sitat/gjengivelse: [Ja, nei eller uklart.] Grunnlag: [Hvilket tekstparti ser ut til å sitere eller gjengi en annen persons angrep?] Ikke bruk feltet til å avgjøre om teksten er harmløs.

Observasjon av angrep rettet mot mottakeren: [Ja, nei eller uklart.] Grunnlag: [Hvilket tekstparti virker rettet mot mottakeren, og hvorfor?] Hold svaret uavhengig av observasjonen av sitat/gjengivelse.

Andre relevante observasjoner: [Andre forhold som må vurderes etter kontoens retningslinjer.] Ikke behandle fraværet av 1 av studiens 2 etiketter som en fullstendig beskrivelse av utvekslingen.

Forholdet mellom vurderingene: [1 person valgte begge, ulike personer valgte ulike alternativer, eller uklart.] Hvis vurdererne velger forskjellig, bevar enkeltpersonenes notater før saken oppsummeres.

Retningslinje: [Regelen eller veiledningen som gjelder.] Avgjørelse: [Handlingen som faktisk ble valgt, eller spørsmålet som fortsatt er uavklart.] Begrunnelse: [Hvordan observasjonen og konteksten støtter avgjørelsen.]

Oppfølging: [Hvem gjør eventuelt hva videre?] Overleveringstidspunkt: [Når saken går til den personen.] Utfall: [Hva som skjedde etter avgjørelsen, hvis det er kontrollert.] Ikke marker en planlagt handling som fullført.

Vurder på nytt når: [En bestemt hendelse eller manglende kontekst, hvis saken trenger en ny gjennomgang.] Skjemaet krever ikke gjentatte vurderinger av hver sak; bruk en grunn som passer situasjonen.

Årskontrollen beholdt de samme 155 utdragene

Vi fastsatte 2 støttende kontroller før etikettparingene ble beregnet. Den første utelot utdrag datert 2016 fordi årsspennet i de publiserte filene gikk utover periodene beskrevet i kildeoversikten og den opprinnelige artikkelen. Da gjensto 13 809 kvalifiserte utdrag fra det tilfeldige utvalget. De samme 155 hadde begge etikettene, med samme fordeling på 98/57.[5]

I den andre kontrollen brukte vi materialet som var trukket separat rundt blokkeringstidspunkter. Etter det samme kravet om akkurat 10 vurderinger besto gruppen av 42 383 utdrag. Begge etikettene fantes blant vurderingene for 2 457 utdrag; av disse hadde 1 354 samme person bak paret, mens 1 103 bare hadde forskjellige personer bak valgene. Andelene var henholdsvis 55,1 % og 44,9 %.

Gruppen med ekstra materiale rundt blokkeringer har et annet utvalgsformål, så vi holdt den separat. Prosentene erstatter ikke hovedresultatet og blir ikke bevis om dagens kommentarer til merkevarer. Årskontrollen gjelder det registrerte datospennet; ingen av kontrollene fjerner behovet for å tolke resultatene som subjektive vurderinger av utvalgte historiske utdrag.

Slik falt de 2 forhåndsvalgte kontrollene ut

Hver rad bruker nøyaktig 10 fullstendige vurderinger per utdrag. Utvalget med flere utdrag rundt blokkeringer har et eget utvalgsformål. Å utelate 2016 tar hensyn til forskjellen mellom årsspennet i utgivelsen og kildebeskrivelsene.

Hovedgruppen og 2 sensitivitetsgrupper, betingede nevnere, antall med begge etikettene fra samme vurderer, antall med etikettene bare fra ulike vurderere og betingede prosenter for sistnevnte
Forhåndsvalgt sammenligningUtdrag som oppfyller kriterieneUtdrag med begge etikettene et sted i vurderingeneMed begge etikettene valgt av samme vurdererBare fra ulike vurderereAndel med etiketter bare fra ulike vurderere blant utdragene med begge etikettene
Tilfeldig utvalg, nøyaktig 10 vurderinger13 824155985736,8 %
Utvalg med flere utdrag rundt blokkeringer, holdt separat42 3832 4571 3541 10344,9 %
Tilfeldig utvalg uten 201613 809155985736,8 %
Både hovedsammenligningen og sammenligningen uten 2016 har 155 utdrag i den betingede gruppen, fordelt på 98/57. Andelen der etikettene bare kom fra ulike vurderere, er 36,8 %. Den separate sammenligningen med flere utdrag rundt blokkeringer har 2 457, fordelt på 1 354/1 103, som gir 44,9 %. Ingen utvalg ble slått sammen, og vi estimerte ingen populasjons- eller årsakssammenligning.[5]

Slik sporet vi etikettene tilbake til individuelle vurderinger

Vi brukte versjon 6 av Wikipedia Talk Labels: Personal Attacks, et offentlig datasett fra Wikipedia Detox-prosjektet. De publiserte filene inneholder tekst fra historiske revisjoner av diskusjonssider og flere vurderinger fra nettbaserte oppdragsarbeidere for hvert utdrag. Analysen brukte de individuelle responsene; den opprettet ikke nye vurderinger og evaluerte ikke et modereringssystem.[1][2]

Hovedsammenligningen startet med det tilfeldige utvalget i utgivelsen og beholdt utdrag med nøyaktig 10 forskjellige, fullstendige vurderinger. Et fast antall på 10 ga hvert utdrag like mange muligheter til å få et paret valg. Regelen valgte også ut 13 824 av utgivelsens 37 492 utdrag i det tilfeldige utvalget, så resultatet beskriver ikke hele denne gruppen.[3]

Hvert utvalgt utdrag bidro med 1 telling. Vi kontrollerte om noen av etikettene forekom noe sted, og deretter om begge fantes i 1 persons respons på det samme utdraget. De 5 kategoriene er gjensidig utelukkende og summerer seg til 13 824. Nevneren på 155 utdrag kommer fra de 2 kategoriene med begge etikettene, ikke fra alle vurderinger eller alle utdrag i kilden.[4]

Før vi så på paringene, fastsatte vi utvalgsgruppene, dekningsregelen, årskontrollen og et minimum på 100 utdrag i den betingede hovedsammenligningen. De observerte 155 oppfylte kravet. Vi satte ikke en påkrevd prosentandel, endret ikke regelen for å favorisere et resultat og slo ikke sammen materialet rundt blokkeringer med den tilfeldige gruppen.

Den opprinnelige forskningen brukte allerede individuelle vurderinger, mens senere arbeid samlet hvert angrepsfelt etter flertall. Vårt mer avgrensede bidrag er denne beskrivende sammenligningen av hvem som valgte de 2 alternativene innenfor et fast vurderingssett. Det er ikke en korreksjon av metodene i de studiene. Nedlastingen inneholder aggregerte resultater, metoder og reproduksjonsinstruksjoner som bruker de offentlige kildefilene som er tilgjengelige separat.[6][7]

Gjør neste vurdering lettere å følge

Det nyttige spørsmålet når modereringssaker fra sosiale medier overleveres, er hvem som gjorde hver observasjon, og hva de beskrev. I denne utvalgte arkivsammenligningen hadde 57 av 155 utdrag med begge etikettene ingen individuell vurderer som valgte paret. Den sammenhengen ville forsvinne i et sammendrag med bare navnene på de 2 etikettene.

Hold personens observasjoner, den relevante konteksten og den endelige avgjørelsen knyttet sammen. Da kan en virksomhet eller innholdsskaper forklare hva saken inneholder, og hvorfor den valgte handlingen følger av det, uten å la et kategorinavn erstatte hele vurderingen.

Du trenger ikke å registrere deg. Pakken inneholder anonyme, aggregerte resultater, metoder, instruksjoner for å gjenskape analysen og et skjema som kan brukes på nytt. Den inneholder verken opprinnelig diskusjonstekst, revisjons-ID-er, ID-er for oppdragsarbeidere eller demografiske opplysninger. De opprinnelige offentlige kildefilene er tilgjengelige separat i utgivelsen det lenkes til.

Kilder og merknader

  1. Kilde: Wikipedia Talk Labels: Personal Attacks, Figshare versjon 6, DOI 10.6084/m9.figshare.4054689.v6, utgitt i februar 2017 under CC0. Vi brukte attack_annotated_comments.tsv (fil 7554634) og attack_annotations.tsv (fil 7554637), med kontroll mot produsentens MD5 og uavhengig beregnet SHA-256. Influence IQ fullførte utvalget, beregningene og tolkningen 25. oktober 2026 (UTC). Studien samlet ikke inn nye kommentarer, laget ikke nye annoteringer og målte ikke en sosial plattform i drift.
  2. I produsentens definisjon er quoting_attack oppdragsarbeiderens oppfatning av et sitat eller en gjengivelse av et angrep fra en annen kommentar. recipient_attack betegner et angrep rettet mot mottakeren. Det var mulig å velge flere alternativer i grensesnittet. Generelt personangrep forekommer som et separat svar i kilden; analysen rekonstruerer det ikke med OR fra underkategoriene. Den publiserte teksten føyer sammen tillegg gjort i en revisjon. Den er ikke et sammendrag av redigeringen og behøver verken å være 1 helt innlegg eller en hel samtale. Diskusjonsnavnerom, utvalgsgrupper og train/dev/test-delene for modellen har fortsatt den betydningen dokumentasjonen angir.
  3. De fullstendige filene inneholdt 115 864 unike utdrag, 1 365 217 unike revisjon/oppdragsarbeider-par med vurderinger og 4 053 oppdragsarbeidere. Den strukturelle kontrollen fant ingen dupliserte par, koblinger uten tilhørende rad, feilformede rader eller manglende eller ugyldige flaggverdier. For å inngå måtte et utdrag ha nøyaktig 10 separate, fullstendige vurderinger av alle 5 kildeflagg. Begge dokumenterte diskusjonsnavnerom og alle modelldelinger var med, og hvert utdrag ble telt 1 gang med lik vekt. Den primære tilfeldige gruppen beholdt 13 824 av 37 492 utdrag. Den separat utvalgte gruppen med flere utdrag rundt blokkeringer beholdt 42 383 av 78 372. At samme oppdragsarbeider vurderte ulike utdrag, var gyldig. Vi slo ikke sammen identisk tekst, fjernet ikke vurderinger ut fra samsvar mellom flagg og omkodet ikke generelt personangrep.
  4. La Q bety at sitat eller gjengivelse av et personangrep er valgt minst 1 gang, og R at personangrep rettet mot mottakeren er valgt minst 1 gang, for et utdrag som oppfyller kriteriene. At begge etikettene finnes, krever minst 1 Q og 1 R et sted blant de 10 vurderingene. For at de skal komme fra samme vurderer, må Q og R i tillegg finnes i samme svar knyttet til et revisjon/oppdragsarbeider-par. Når etikettene bare kommer fra ulike vurderere, finnes ikke noe slikt svar. Den primære betingede nevneren er 98 + 57 = 155. De eksakte brøkene 98/155 og 57/155 vises som 63,2 % og 36,8 %. Prosentene beregnes med eksakt brøkregning og avrundes til 1 desimal, med halve verdier oppover. Før etikettparene ble beregnet, krevde vi minst 100 utdrag med begge etikettene for hovedsammenligningen, uten noen terskel for en gunstig prosentandel. Vi beregnet ikke konfidensintervall for en populasjon, signifikanstest eller nøyaktighetsestimat og fremsatte ingen påstand om uavhengighet.
  5. Den forhåndsangitte sensitivitetskontrollen av gruppen med flere utdrag rundt blokkeringer brukte samme regel om nøyaktig 10 vurderinger og ble holdt atskilt fra den tilfeldige hovedgruppen. De 5 antallene var 20 911 uten noen av etikettene, 959 med sitat eller gjengivelse av et personangrep uten personangrep rettet mot mottakeren, 18 056 med personangrep rettet mot mottakeren uten sitat eller gjengivelse av et personangrep, 1 354 med begge fra samme vurderer og 1 103 med begge bare fra ulike vurderere. Totalt var det 42 383, med en betinget nevner på 2 457. Da 2016 ble utelatt fra den tilfeldige hovedgruppen, gjensto 13 809 utdrag. De 5 antallene var 12 012 / 406 / 1 236 / 98 / 57 i samme rekkefølge. De 155 utdragene i den betingede sammenligningen og fordelingen 98/57 var uendret. Dette er beskrivende kontroller, ikke uavhengige gjentakelser i en populasjon eller belegg for at utvalgsgruppene er sammenlignbare.
  6. Grunnarbeidet med crowdsourcing og modeller ble etablert i Ex Machina: Personal Attacks Seen at Scale av Wulczyn, Thain og Dixon i 2017. Cécillon og kolleger beholdt i WAC-artikkelen fra 2020 en matrise over oppdragsarbeidere og felt, og samlet hvert angrepsfelt separat med flertallsregelen. Disse metodene eksisterte fra før; studien vår har ikke fastslått at de var feil. Vi undersøker etiketter valgt av minst 1 av 10 og etikettpar innen samme svar, fremfor ytelsen til etiketter valgt av et flertall. Influence IQs sammenligning teller om samme vurderer valgte de 2 alternativene, eller om de bare kom fra ulike vurderere, for hvert utdrag i utvalget.
  7. Kildeoversikten beskriver 2001–2015, og originalartikkelen 2004–2015. De fastlåste filene i versjon 6 inneholder årstall fra 2001–2016. Produsentens skjema for innloggingsstatus angir 0/1, mens den utgitte filen bruker False/True; strengene for binære flagg er 0.0/1.0. Vi beholdt disse dokumenterte og observerte forskjellene uten å tilskrive dem en årsak. Parseren godtar de eksakte literalene fra utgivelsen, uten å avrunde eller tvangskonvertere etikettverdier. Pakken dokumenterer kildeversjoner, utvalgsregler og trinnene for å gjenskape analysen fra de offentlige filene.
  8. De 2 vurderingspanelene med 10 personer, svarene fra vurderer A/B og valgene ved overleveringen er oppdiktede undervisningseksempler. De inneholder verken opprinnelig diskusjonstekst eller identifikatorer fra datasettet. Begge de oppdiktede panelene har 1 valg av sitat eller gjengivelse av et personangrep og 1 valg av personangrep rettet mot mottakeren, men bare i det 1. finnes begge i samme persons svar. Skjemaet og prinsippskissene er praktiske forklaringer, ikke observerte arbeidsprosesser i kilden, utprøvde modereringsregler eller garantier for bedre beslutninger.

Alle språkversjoner er oversatt direkte fra den engelske kilden. Hver utgave beskriver det samme historiske datasettet fra engelskspråklig Wikipedia og de samme utvalgte vurderingene. Oversettelsen gir ingen funn om lokale markeder. Influence IQ har ansvar for analysen, tolkningen og oversettelsene.

Planlegg hvem som deltar, og hvilke føringer overleveringen trenger