2 etichette di moderazione possono provenire da revisori diversi

Un passaggio di consegne nella revisione dei commenti può riportare 2 etichette senza indicare chi le ha scelte. Le valutazioni storiche di Wikipedia mostrano perché questo dettaglio mancante conta per la prossima persona che esaminerà il caso.

Analisi originale di Influence IQ su giudizi selezionati dal dataset storico di attacchi personali del progetto Wikipedia Detox. Analisi completata il 25 ottobre 2026 (UTC).

Sintesi

Tra 13.824 estratti selezionati da discussioni storiche di Wikipedia, 155 hanno ricevuto sia un’etichetta di citazione/resoconto sia un’etichetta di attacco rivolto al destinatario nell’insieme dei loro 10 giudizi individuali. In 98 di questi 155 estratti, almeno 1 revisore ha selezionato entrambe le etichette. Negli altri 57, pari al 36,8%, le etichette provenivano soltanto da revisori diversi. La percentuale riguarda quei 155 estratti, non tutti i 13.824.[1][4]

Per aziende e creator che gestiscono commenti sui social, l’indicazione pratica riguarda il passaggio di consegne: mantieni le osservazioni di ogni revisore collegate alla sua valutazione. La presenza di 2 etichette insieme non dimostra che 1 persona le abbia scelte entrambe. Lo studio descrive giudizi soggettivi su estratti di discussioni storiche, non errori di moderazione né una regola per rimuovere un commento. La scheda da copiare qui sotto trasforma questa distinzione in una registrazione pratica della revisione.

Immagina che un creator chieda a un collega di esaminare un commento difficile. Nel passaggio di consegne compaiono 2 etichette: qualcuno cita o riporta un attacco e qualcuno rivolge un attacco al destinatario. Prima di decidere come procedere, al collega serve un altro dettaglio: è stato lo stesso revisore a fare entrambe le osservazioni?

È una distinzione reale che un riepilogo può perdere. 1 persona potrebbe aver selezionato entrambe le opzioni, oppure 2 persone potrebbero essersi concentrate su aspetti diversi dello stesso testo. Un semplice elenco di etichette non permette al revisore successivo di capire quale situazione si sia verificata. Può anche lasciare poco chiaro a quali parole si riferisse ogni persona.

Abbiamo esplorato la questione usando giudizi individuali di un dataset di ricerca consolidato. Il materiale originale proviene dalle pagine di discussione di Wikipedia. Qui serve a rendere visibile il rapporto tra etichette e revisori, per aiutare poi un’azienda o un creator a riflettere sulle informazioni da conservare nei propri passaggi di consegne.

Mantieni ogni osservazione collegata al suo revisore

2 schede separate con note dei revisori si collegano a 1 scheda più grande con il testo della discussione; un cerchio e un quadrato mantengono riconoscibile l’origine di ogni nota.
Illustrazione concettuale. Note separate dei revisori si collegano allo stesso estratto di discussione. Le forme corrispondenti aiutano a conservare l’origine di ogni osservazione.

Parti da ciò che descrive davvero ogni etichetta

La prima opzione chiedeva se il testo citasse o riportasse un attacco personale proveniente da un altro commento. La seconda riguardava un attacco personale rivolto al destinatario. I revisori potevano selezionare più di 1 opzione. Si trattava di giudizi sul testo presentato, non di decisioni di nasconderlo né di prove di una violazione delle regole.[2]

Abbiamo considerato presente un’etichetta quando almeno 1 dei 10 revisori l’aveva selezionata. Il confronto si basava quindi sulla scelta di almeno 1 revisore. Non richiedeva una maggioranza, non descriveva le etichette come un consenso e non ne verificava la correttezza.

Dei 13.824 estratti selezionati, 12.025 non avevano nessuna delle 2 etichette. Altri 406 avevano un’etichetta di citazione/resoconto senza quella di attacco rivolto al destinatario, mentre 1.238 avevano un’etichetta di attacco rivolto al destinatario senza quella di citazione/resoconto. Restavano 155 estratti con entrambe le etichette nell’insieme dei giudizi.

Queste descrizioni riguardano soltanto le 2 opzioni considerate. Un estratto senza l’etichetta di attacco rivolto al destinatario poteva comunque avere un altro tipo di etichetta di attacco. L’etichetta di citazione/resoconto non certifica che il testo fosse innocuo. Nomi precisi evitano che una categoria utile si trasformi, senza accorgersene, in una conclusione più ampia.

Come sono stati etichettati i 13.824 estratti selezionati

Un’etichetta era presente se almeno 1 dei 10 revisori l’aveva selezionata. Queste 5 categorie riguardano 2 opzioni specifiche: «nessuna» non significa che l’estratto fosse privo di ogni tipo di etichetta di attacco.

Conteggi per 5 categorie mutuamente esclusive dei 13.824 estratti storici selezionati, definite dalla presenza delle etichette di citazione/resoconto e attacco rivolto al destinatario e dalla scelta di entrambe da parte dello stesso revisore
Etichette di citazione/resoconto e attacco rivolto al destinatarioEstratti
Nessuna delle 2 etichette12.025
Citazione/resoconto senza attacco rivolto al destinatario406
Attacco rivolto al destinatario senza citazione/resoconto1238
Entrambe le etichette, con almeno 1 coppia dello stesso revisore98
Entrambe le etichette, fornite soltanto da revisori diversi57
Fonte: analisi di Influence IQ sugli estratti selezionati del campione casuale con esattamente 10 giudizi in Wikipedia Talk Labels: Personal Attacks, versione 6. I 5 conteggi sommano a 13.824. Le ultime 2 categorie formano l’insieme condizionato di 155 estratti.[1][3][4]

57 estratti avevano entrambe le etichette, ma nessun revisore le aveva scelte entrambe

Per i 155 estratti abbiamo verificato la risposta individuale dietro ogni etichetta. In 98, almeno 1 persona aveva selezionato entrambe le opzioni per quello stesso estratto. In 57, le scelte di citazione/resoconto e attacco rivolto al destinatario provenivano soltanto da persone diverse. Nessuna risposta individuale di questi 57 estratti conteneva la coppia.

La ripartizione era del 63,2% con una coppia scelta dallo stesso revisore e del 36,8% con etichette fornite soltanto da revisori diversi. Entrambi i gruppi appartenevano allo stesso insieme di 155 estratti, definito in modo ristretto. Il quadro più ampio dei 13.824 estratti resta importante perché mostra da dove è partito questo confronto condizionato.[4]

La distinzione cambia ciò che puoi affermare sulla base di un riepilogo. Sapere che sono comparse entrambe le etichette permette di dire che ciascuna è stata selezionata nell’insieme delle revisioni. Da solo, però, non permette di affermare che un singolo revisore abbia descritto il testo in entrambi i modi.

Nemmeno la scelta di entrambe le opzioni da parte dello stesso revisore risolve il significato delle parole. Un estratto originale poteva riunire aggiunte fatte durante 1 revisione di Wikipedia, anche provenienti da più post. La scelta di entrambe le opzioni da parte di 1 revisore non dimostra che il passaggio citato fosse esso stesso l’attacco rivolto al destinatario. Non abbiamo esaminato i singoli estratti per spiegare i giudizi ricevuti.[2][6]

57 dei 155 estratti non avevano una coppia dello stesso revisore

Questo confronto comprende soltanto i 155 estratti selezionati con entrambe le etichette nell’insieme dei loro 10 giudizi. Usa le selezioni di almeno 1 revisore, non l’accordo della maggioranza o esiti di moderazione verificati.

Conteggi e percentuali condizionate per etichette scelte dallo stesso revisore oppure soltanto da revisori diversi tra i 155 estratti selezionati con entrambe le etichette
Chi ha fornito le 2 etichetteEstrattiQuota dei 155 estratti
Almeno 1 revisore le ha selezionate entrambe9863,2%
Le etichette provenivano soltanto da revisori diversi5736,8%
98 estratti avevano una coppia dello stesso revisore: 98/155, pari al 63,2%. In 57, entrambe le etichette comparivano soltanto tra revisori diversi: 57/155, pari al 36,8%. Il denominatore è 155, all’interno di un quadro principale di 13.824 estratti storici selezionati.[4]

Trasmetti al revisore successivo l’osservazione dietro l’etichetta

In un’azienda, il caso può passare da chi segue i commenti alla persona responsabile dell’account. Per un creator, può passare da un assistente al creator stesso. Chi lo riceve deve capire cosa è stato notato prima di decidere se rispondere, cercare altro contesto o applicare le regole già in vigore per l’account.

Conserva insieme le selezioni di ogni persona. Se un revisore sceglie entrambe le opzioni, mantieni quella coppia come sua valutazione. Se 2 revisori scelgono opzioni diverse, conserva le risposte separate. Un caso può contenere più interpretazioni senza trasformarle in una valutazione che nessuno ha davvero espresso.

Aggiungi poi una breve spiegazione del passaggio rilevante. Nel tuo flusso di lavoro, indica cosa sembra essere citato, a chi sembra rivolgersi il testo e quale risposta circostante aiuta a capire lo scambio. Lascia visibile l’incertezza quando il contesto disponibile non permette di rispondere. Sono suggerimenti pratici: il dataset non ne ha verificato l’effetto sulle decisioni.

Può bastare una nota breve. L’obiettivo è permettere alla persona successiva di seguire il ragionamento di chi l’ha preceduta senza ricostruire tutta la revisione. Per un team che passa casi tra turni o tra un brand e un creator, significa trasmettere l’osservazione originale insieme alla categoria che le è stata assegnata.

Un esempio inventato con gli stessi totali di etichette

Considera 2 gruppi di revisione inventati, ciascuno con 10 persone che valutano 1 estratto fittizio. I gruppi illustrano il calcolo: non sono persone, citazioni o casi reali del dataset. Entrambi i riepiloghi riportano 1 selezione di citazione/resoconto e 1 di attacco rivolto al destinatario.[8]

Nel primo gruppo, il revisore A seleziona entrambe le opzioni. Le altre 9 persone non scelgono nessuna delle 2 opzioni. C’è quindi 1 persona la cui risposta contiene la coppia. Il passaggio di consegne può conservare correttamente la valutazione combinata di quella persona, lasciando l’azione finale a una decisione separata.

Nel secondo gruppo, il revisore A seleziona citazione/resoconto e il revisore B seleziona attacco rivolto al destinatario. Gli altri 8 non scelgono nessuna delle 2 opzioni. I totali dei campi restano 1 e 1, ma nessuna persona le ha selezionate entrambe. Presentare il risultato come la valutazione combinata di 1 persona aggiungerebbe un rapporto assente dalle risposte individuali.

L’esempio spiega anche perché abbiamo contato gli estratti invece di sommare tutte le persone che soddisfacevano la condizione. Se nel primo gruppo 2 persone avessero scelto entrambe le etichette, l’estratto sarebbe comunque entrato 1 volta nel gruppo con una coppia scelta dallo stesso revisore. La classificazione chiede se esistesse una coppia del genere, non quante persone l’avessero fornita.

Per il secondo gruppo, un breve passaggio di consegne inventato potrebbe essere: «Decisione ancora aperta. Il revisore A ha individuato una citazione/un resoconto; il revisore B ha individuato un linguaggio rivolto al destinatario. Conserva entrambe le note insieme all’estratto e alla risposta precedente. Il responsabile dell’account verificherà a quale passaggio si riferisse ogni revisore prima di scegliere l’azione». La nota trasmette una questione irrisolta senza riscrivere le risposte di 2 persone come la conclusione di 1 persona.

In un passaggio di consegne reale, conserva le 2 note separate del secondo gruppo. Il revisore successivo può leggerle insieme al testo, chiedere cosa intendesse ciascuna persona e prendere la decisione prevista dalle regole dell’account. Lo studio non stabilisce se 1 dei 2 revisori avesse ragione né quale azione richiederebbe quel caso fittizio.

Gli stessi totali di etichette possono derivare da schemi di revisione diversi

2 righe mostrano riepiloghi identici delle etichette combinate. Nella riga superiore, 1 scheda di 1 revisore contiene entrambi i simboli; in quella inferiore, i simboli sono divisi tra le schede di 2 revisori.
  1. 1 revisore le seleziona entrambe

    Il primo gruppo inventato ha 1 persona che sceglie entrambe le etichette e 9 che non scelgono nessuna delle 2 opzioni.

  2. 2 revisori selezionano 1 etichetta ciascuno

    Nel secondo, 1 persona sceglie citazione/resoconto e un’altra attacco rivolto al destinatario. Le altre 8 non scelgono nessuna delle 2 opzioni.

Illustrazione dei gruppi fittizi. Le schede si concentrano sulle persone che forniscono le 2 etichette; ogni gruppo comprende anche revisori che non selezionano nessuna delle 2 opzioni. Non è la distribuzione misurata dei 155 estratti dello studio.

Separa la decisione su come applicare le regole dalla descrizione

Descrivere ciò che appare in un commento e decidere come intervenire hanno scopi diversi. Un revisore può notare un linguaggio citato mentre il responsabile dell’account deve ancora considerare lo scambio circostante e le regole applicabili. Mantieni separati questi passaggi, così chi legge in seguito può capire come si è arrivati alla decisione.

Se un’azienda lavora con un creator, concorda chi prende quella decisione prima che arrivi uno scambio difficile. Chi comprende un reclamo su un prodotto potrebbe non essere la persona autorizzata a cambiare l’approccio di moderazione dell’account. Un passaggio di consegne chiaro può indicare entrambi i ruoli senza presumere che ogni caso richieda più revisori.

Se lavori da solo come creator, puoi mantenere la stessa distinzione in 1 nota: cosa hai notato, quale contesto hai verificato e cosa hai deciso. 1 persona può svolgere più passaggi mantenendone chiari gli scopi. Il dataset non mostra che aggiungere personale o un ulteriore livello di revisione migliori i risultati.

Mantieni separate le osservazioni finché non ne comprendi il rapporto. Scelte diverse possono riflettere punti di attenzione differenti, non necessariamente descrizioni contraddittorie. La selezione di citazione/resoconto non è un’esenzione automatica e quella di attacco rivolto al destinatario non è una raccomandazione di eliminazione sostenuta da una misurazione. L’azione successiva utile è quella supportata dallo scambio reale e dalle regole dell’account, non quella dedotta dalle percentuali del nostro archivio.

Una scheda per la revisione dei commenti da copiare

Copia questi campi nel documento di revisione o nel passaggio di consegne che usi già. Usa soltanto le informazioni necessarie al tuo team, con un accesso adeguato alla conversazione. La scheda è disponibile qui senza registrazione: è una guida pratica, non un processo osservato nello studio.[8]

Caso: [Link o riferimento interno.] Account/canale: [Dove compare lo scambio.] Ora della verifica: [Data e ora.] Mantieni stabile il riferimento, così la persona successiva può ritrovare lo stesso materiale.

Scopo: [Quale domanda richiede una decisione?] Responsabile: [Chi deciderà?] Persona successiva: [A chi va passato il caso, se necessario?]

Testo presentato: [Il passaggio in esame, conservato nel tuo spazio di lavoro approvato.] Contesto circostante: [Risposte precedenti o successive rilevanti.] Contesto mancante: [Cosa non è stato possibile verificare.]

Revisore: [Nome o riferimento interno del revisore.] Ora della valutazione: [Data e ora.] Mantieni separata la voce di ogni persona, anche quando più persone usano le stesse etichette.

Osservazione di citazione/resoconto: [Sì, no o non chiaro.] Motivazione: [Quale passaggio sembra citare o riportare l’attacco di un’altra persona?] Non usare questo campo per decidere che il testo è innocuo.

Osservazione di attacco rivolto al destinatario: [Sì, no o non chiaro.] Motivazione: [Quale passaggio sembra rivolto al destinatario e perché?] Mantieni questa risposta indipendente dall’osservazione di citazione/resoconto.

Altre osservazioni rilevanti: [Qualsiasi altro aspetto da considerare secondo le regole dell’account.] L’assenza di una delle 2 etichette dello studio non equivale a una descrizione completa dello scambio.

Rapporto tra le revisioni: [1 persona ha selezionato entrambe le opzioni, persone diverse hanno scelto opzioni diverse oppure non è chiaro.] Se le valutazioni differiscono, conserva le loro note individuali prima di riassumere il caso.

Riferimento alle regole: [La regola o l’indicazione applicabile.] Decisione: [L’azione effettivamente scelta o la questione ancora irrisolta.] Ragione: [In che modo l’osservazione e il contesto sostengono quella decisione.]

Passi successivi: [Chi farà cosa, se serve?] Ora del passaggio di consegne: [Quando il caso passa a quella persona.] Esito: [Cosa è successo dopo la decisione, se verificato.] Non indicare come completata un’azione soltanto prevista.

Riesamina quando: [Un evento specifico o un elemento di contesto mancante, se serve un nuovo esame.] La scheda non richiede di rivedere ripetutamente ogni caso: usa un motivo adatto alla situazione.

Il controllo sull’anno ha mantenuto gli stessi 155 estratti

Abbiamo definito 2 controlli di supporto prima di calcolare gli abbinamenti delle etichette. Il primo escludeva gli estratti datati 2016 perché l’intervallo degli anni nei file pubblicati superava i periodi descritti nella panoramica della fonte e nell’articolo originale. Restavano 13.809 estratti ammissibili del campione casuale. Gli stessi 155 avevano entrambe le etichette, con la stessa ripartizione 98/57.[5]

L’altro controllo usava il materiale del dataset campionato separatamente in prossimità di eventi di blocco. Applicando la stessa regola di esattamente 10 giudizi, comprendeva 42.383 estratti. Dei 2.457 con entrambe le etichette nell’insieme dei giudizi, 1.354 avevano una coppia scelta dallo stesso revisore e 1.103 avevano etichette fornite soltanto da persone diverse: rispettivamente il 55,1% e il 44,9%.

Il gruppo arricchito attorno agli eventi di blocco ha uno scopo di campionamento diverso, quindi lo abbiamo tenuto separato. Le sue percentuali non sostituiscono il risultato principale e non diventano prove sui commenti attuali dei brand. Il controllo sull’anno affronta l’intervallo di date registrato; nessuno dei due controlli elimina la necessità di interpretare i dati come giudizi soggettivi su estratti storici selezionati.

Il confronto tra i 2 controlli preselezionati

Ogni riga usa esattamente 10 giudizi completi per estratto. Il campione arricchito attorno ai blocchi ha uno scopo di campionamento separato. Escludere il 2016 affronta una differenza tra l’intervallo degli anni pubblicati e le descrizioni della fonte.

Quadro principale e 2 quadri di sensibilità, denominatori condizionati, conteggi con coppie dello stesso revisore, conteggi soltanto da revisori diversi e relative percentuali condizionate
Confronto preselezionatoEstratti ammissibiliEstratti con entrambe le etichette nell’insieme dei giudiziCon una coppia dello stesso revisoreSoltanto da revisori diversiPercentuale, tra gli estratti con entrambe le etichette, di quelli senza una coppia dello stesso revisore
Campione casuale, esattamente 10 giudizi13.824155985736,8%
Campione arricchito attorno ai blocchi, mantenuto separato42.38324571354110344,9%
Campione casuale senza il 201613.809155985736,8%
Il confronto principale e quello con esclusione dell’anno hanno entrambi 155 estratti nel confronto condizionato, ripartiti 98/57: il 36,8% ha etichette soltanto da revisori diversi. Il confronto separato sul campione arricchito attorno ai blocchi ne ha 2.457, ripartiti 1.354/1.103: il 44,9%. Non sono stati uniti campioni né stimate differenze sulla popolazione o confronti causali.[5]

Come abbiamo ricondotto le etichette ai giudizi individuali

Abbiamo usato la versione 6 di Wikipedia Talk Labels: Personal Attacks, un dataset pubblico del progetto Wikipedia Detox. I file pubblicati contengono testo derivato da revisioni storiche di pagine di discussione e più giudizi di annotatori partecipanti a un’attività di crowdsourcing per ogni estratto. Questa analisi ha usato le risposte individuali: non ha creato nuovi giudizi né valutato un sistema di moderazione.[1][2]

Il confronto principale è partito dal gruppo del campione casuale della versione pubblicata e ha mantenuto gli estratti con esattamente 10 giudizi distinti e completi. Fissare il numero a 10 dava a ogni estratto lo stesso numero di opportunità di ricevere una coppia di selezioni. Questo criterio selezionava anche 13.824 dei 37.492 estratti casuali pubblicati: il risultato non descrive quindi l’intero gruppo.[3]

Ogni estratto selezionato contribuiva con 1 conteggio. Abbiamo verificato la presenza di ciascuna delle 2 etichette nell’insieme delle risposte e poi se entrambe comparissero nella risposta dello stesso revisore per quello stesso estratto. Le 5 categorie si escludono a vicenda e sommano a 13.824. Il denominatore di 155 estratti deriva dalle 2 categorie con entrambe le etichette, non da tutti i giudizi né da tutti gli estratti della fonte.[4]

Prima di esaminare gli abbinamenti, abbiamo fissato i gruppi di campionamento, il criterio di copertura, il controllo sull’anno e un minimo di 100 estratti nel confronto condizionato principale. I 155 osservati soddisfacevano questo requisito. Non abbiamo stabilito una percentuale da raggiungere, modificato la regola per favorire un risultato o unito il materiale arricchito attorno ai blocchi al gruppo casuale.

La ricerca originale usava già giudizi individuali e lavori successivi hanno aggregato per maggioranza ogni campo relativo agli attacchi. Il nostro contributo, più circoscritto, è questo confronto descrittivo su chi ha fornito le 2 opzioni all’interno di un insieme fisso di giudizi. Non è una correzione dei metodi di quegli studi. Il download fornisce risultati aggregati, metodi e istruzioni per riprodurre l’analisi usando i file pubblici della fonte, disponibili separatamente.[6][7]

Rendi più facile seguire la prossima revisione

La domanda utile nel passaggio di consegne per la moderazione sui social è chi ha fatto ogni osservazione e cosa stava descrivendo. In questo confronto su un archivio selezionato, 57 dei 155 estratti con entrambe le etichette non avevano alcun revisore individuale che avesse selezionato la coppia. Un riepilogo con soltanto i nomi delle 2 etichette perderebbe questo rapporto.

Mantieni collegate le osservazioni della persona, il contesto rilevante e la decisione finale. Un’azienda o un creator può così spiegare cosa contiene il caso e perché ne deriva l’azione scelta, senza chiedere a un’etichetta di categoria di sostituire l’intera revisione.

Non serve registrarsi. Il pacchetto include risultati aggregati anonimi, metodi, istruzioni per riprodurre l’analisi e la scheda riutilizzabile. Non contiene il testo originale delle discussioni, ID delle revisioni, ID degli annotatori o dati demografici. I file pubblici originali della fonte sono disponibili separatamente nella versione pubblicata collegata.

Fonti e note

  1. Fonte: Wikipedia Talk Labels: Personal Attacks, versione 6 di Figshare, DOI 10.6084/m9.figshare.4054689.v6, pubblicata a febbraio 2017 con licenza CC0. Abbiamo usato attack_annotated_comments.tsv (file 7554634) e attack_annotations.tsv (file 7554637), verificando gli MD5 del produttore e gli SHA-256 calcolati in modo indipendente. Influence IQ ha completato selezione, calcoli e interpretazione il 25 ottobre 2026 (UTC). Lo studio non ha raccolto nuovi commenti, creato nuove annotazioni o misurato una piattaforma social attiva.
  2. Il produttore definisce quoting_attack come la percezione, da parte di un annotatore, di una citazione/un resoconto di un attacco proveniente da un altro commento e recipient_attack come un attacco rivolto al destinatario. L’interfaccia consentiva scelte multiple. L’attacco generale è una risposta separata nella fonte, non un OR ricostruito dai sottotipi in questa analisi. Il testo pubblicato concatena le aggiunte fatte durante una revisione: non è un riepilogo della modifica, non è necessariamente un intero post e non è una conversazione completa. Gli spazi dei nomi di discussione, i gruppi di campionamento e le suddivisioni train/dev/test del modello mantengono i significati documentati.
  3. I file completi contenevano 115.864 estratti unici, 1.365.217 coppie uniche revisione/annotatore per i giudizi e 4.053 annotatori. La verifica strutturale non ha rilevato coppie duplicate, collegamenti orfani, righe malformate o valori degli indicatori mancanti o non validi. L’ammissibilità richiedeva esattamente 10 giudizi distinti e completi su tutti i 5 indicatori della fonte, includendo entrambi gli spazi dei nomi di discussione documentati e tutte le suddivisioni del modello, con 1 conteggio di uguale peso per ogni estratto. Il gruppo casuale principale ha mantenuto 13.824 estratti su 37.492. Il gruppo arricchito attorno ai blocchi, selezionato separatamente, ne ha mantenuti 42.383 su 78.372. La presenza degli stessi annotatori in estratti diversi era legittima; non sono stati imposti accorpamenti di testi identici, eliminazioni basate sulla coerenza tra indicatori o ricodifiche dell’attacco generale.
  4. Sia Q la presenza di una qualsiasi selezione di citazione/resoconto e R quella di una qualsiasi selezione di attacco rivolto al destinatario per un estratto ammissibile. La presenza di entrambe richiede almeno 1 Q e 1 R nell’insieme dei 10 giudizi. La presenza di una coppia dello stesso revisore richiede inoltre Q e R in 1 risposta revisione/annotatore; la presenza soltanto da revisori diversi esclude una risposta del genere. Il denominatore condizionato principale è 98 + 57 = 155; le frazioni esatte 98/155 e 57/155 sono visualizzate come 63,2% e 36,8%. Le percentuali usano aritmetica razionale esatta e arrotondamento a 1 decimale, per eccesso nei casi a metà. Prima di calcolare gli abbinamenti abbiamo richiesto almeno 100 estratti con entrambe le etichette per il confronto condizionato principale, senza una soglia percentuale favorevole. Non sono stati calcolati intervalli di confidenza della popolazione, test di significatività o stime di accuratezza, né è stata avanzata una pretesa di indipendenza.
  5. Il controllo di sensibilità predefinito sul campione arricchito attorno ai blocchi usava la stessa regola di esattamente 10 giudizi e restava separato dal campione casuale principale. I suoi 5 conteggi erano: 20.911 senza nessuna delle 2 etichette, 959 con citazione/resoconto senza attacco rivolto al destinatario, 18.056 con attacco rivolto al destinatario senza citazione/resoconto, 1.354 con entrambe scelte dallo stesso revisore e 1.103 con entrambe fornite soltanto da revisori diversi; totale 42.383, denominatore condizionato 2.457. Escludendo il 2016 dal campione casuale principale restavano 13.809 estratti, con i 5 conteggi 12.012 / 406 / 1.236 / 98 / 57 nello stesso ordine. I 155 estratti del confronto condizionato e la ripartizione 98/57 erano invariati. Sono controlli descrittivi, non repliche indipendenti sulla popolazione né prove della comparabilità dei gruppi di campionamento.
  6. Il lavoro del 2017 di Wulczyn, Thain e Dixon, Ex Machina: Personal Attacks Seen at Scale, ha posto le basi del crowdsourcing e della modellazione sottostanti. L’articolo WAC del 2020 di Cécillon e colleghi manteneva una matrice annotatore-per-campo e aggregava separatamente per maggioranza i campi relativi agli attacchi. Sono metodi esistenti, non errori dimostrati da questo studio. Il nostro confronto usa la presenza di etichette scelte da almeno 1 dei 10 revisori e il loro abbinamento nella stessa risposta, non le prestazioni di un’etichetta di maggioranza. Il confronto di Influence IQ conta se le 2 opzioni sono state fornite dallo stesso revisore o soltanto da revisori diversi all’interno di ciascun estratto selezionato.
  7. La panoramica della fonte descrive il periodo 2001–2015 e l’articolo originale il 2004–2015; i file della versione 6 vincolata contengono anni dal 2001 al 2016. Lo schema del produttore per lo stato di accesso indica 0/1, mentre il file pubblicato usa False/True; le stringhe degli indicatori binari sono 0.0/1.0. Abbiamo conservato queste differenze tra quanto documentato e quanto osservato senza attribuirne una causa. Il parser accetta gli esatti valori letterali pubblicati, senza arrotondare o convertire forzatamente i valori delle etichette. Il pacchetto documenta le versioni della fonte, le regole di selezione e i passaggi per riprodurre l’analisi dai file pubblici.
  8. I 2 gruppi di revisione da 10 persone, le risposte dei revisori A/B e le scelte di passaggio di consegne sono esempi didattici fittizi. Non contengono testi originali delle discussioni o identificativi del dataset. Entrambi i gruppi inventati hanno 1 selezione di citazione/resoconto e 1 di attacco rivolto al destinatario, ma solo il primo ha una coppia della stessa persona. La scheda e le illustrazioni concettuali sono spiegazioni pratiche, non flussi di lavoro osservati nella fonte, regole di moderazione verificate o garanzie di decisioni migliori.

Tutte le versioni linguistiche sono tradotte direttamente dalla fonte inglese. Ogni edizione descrive lo stesso dataset storico di Wikipedia in inglese e gli stessi giudizi selezionati. La traduzione non produce risultati sui mercati locali. Influence IQ è responsabile dell’analisi, dell’interpretazione e delle traduzioni.

Organizza persone e indicazioni per il passaggio di consegne