Twee moderatielabels kunnen van verschillende beoordelaars komen

De eerste optie vroeg of de tekst een persoonlijke aanval uit een andere reactie citeerde of beschreef. De tweede ging over een persoonlijke aanval op de aangesproken persoon. Beoordelaars konden meerdere opties kiezen. Het waren beoordelingen van de voorgelegde tekst, geen besluiten om die te verbergen of bewijzen dat een regel was overtreden.^[2]

Een label telde als aanwezig zodra minstens één van de 10 beoordelaars het koos. Eén selectie ergens in de groep was dus voldoende. We vereisten geen meerderheid, presenteerden de labels niet als overeenstemming en toetsten niet of ze juist waren.

Van de 13.824 geselecteerde fragmenten hadden er 12.025 geen van deze twee labels. Nog eens 406 hadden een label voor citeren/beschrijven zonder een label voor een aanval op de aangesproken persoon. Bij 1.238 was het andersom. Er bleven 155 fragmenten over met beide labels ergens in de beoordelingen.

Deze beschrijvingen gaan alleen over die twee opties. Een fragment zonder label voor een aanval op de aangesproken persoon kon nog steeds een ander aanvalslabel hebben. Een label voor citeren/beschrijven bewijst niet dat de tekst onschadelijk was. Precieze benamingen voorkomen dat een bruikbare categorie ongemerkt een ruimere conclusie wordt.

Binnen de 155 fragmenten bekeken we het afzonderlijke antwoord achter elk label. Bij 98 koos minstens één persoon beide opties voor hetzelfde fragment. Bij 57 kwamen de keuzes voor citeren/beschrijven en aanval op de aangesproken persoon alleen van verschillende mensen. Geen afzonderlijke beoordeling van die 57 bevatte het paar.

De verdeling was 63,2% met beide labels bij minstens één beoordelaar en 36,8% met labels die uitsluitend van verschillende beoordelaars kwamen. Beide groepen maakten deel uit van dezelfde nauw omschreven verzameling van 155 fragmenten. Het bredere kader van 13.824 fragmenten blijft belangrijk, omdat het laat zien waar deze vergelijking binnen de groep met beide labels begon.^[4]

Dat onderscheid verandert wat je uit een samenvatting kunt afleiden. Als beide labels voorkomen, kun je zeggen dat elk ergens in de beoordelingen is gekozen. Dat betekent op zichzelf niet dat één beoordelaar de tekst op beide manieren beschreef.

Ook als één beoordelaar beide labels kiest, staat de betekenis van de woorden nog niet vast. Een bronfragment kon toevoegingen uit één Wikipedia-wijziging combineren, waaronder meer dan één bericht. Een dubbele keuze bewijst niet dat juist de geciteerde passage de aanval op de aangesproken persoon was. We onderzochten geen afzonderlijke fragmenten om de beoordelingen te verklaren.^[2][6]

Bij een bedrijf kan een zaak van de persoon die reacties volgt naar de verantwoordelijke voor het account gaan. Bij een contentmaker kan die van een assistent naar de maker zelf gaan. De volgende persoon moet begrijpen wat is opgevallen voordat die reageert, meer context zoekt of het bestaande beleid van het account toepast.

Bewaar de keuzes van elke persoon bij elkaar. Als iemand beide opties kiest, houd dat paar dan bij die beoordeling. Als twee personen verschillende opties kiezen, bewaar hun antwoorden apart. Een zaak kan meerdere lezingen bevatten zonder daarvan een beoordeling te maken die niemand werkelijk heeft gegeven.

Voeg daarna kort toe om welke passage het gaat. Leg in je eigen werkwijze vast wat geciteerd lijkt, tot wie de tekst zich lijkt te richten en welke omliggende reactie helpt het gesprek te begrijpen. Laat onzekerheid zichtbaar als de beschikbare context geen antwoord geeft. Dit zijn praktische suggesties; de dataset testte hun effect op beslissingen niet.

Een korte notitie kan voldoende zijn. Het doel is dat de volgende persoon de redenering kan volgen zonder de hele beoordeling opnieuw op te bouwen. Voor een team dat zaken tussen diensten of tussen een merk en een contentmaker doorgeeft, betekent dit dat ook de oorspronkelijke observatie meegaat, naast de toegewezen categorie.

Neem twee verzonnen groepen van elk 10 personen die één fictief fragment beoordelen. De groepen verduidelijken de berekening; het zijn geen werkelijke personen, citaten of zaken uit de dataset. Beide samenvattingen laten één keuze voor citeren/beschrijven en één voor een aanval op de aangesproken persoon zien.^[8]

In de eerste groep kiest beoordelaar A beide opties. De andere 9 personen kiezen geen van deze twee opties. Eén afzonderlijke beoordeling bevat dus het paar. Bij de overdracht kun je die gecombineerde beoordeling correct bewaren en de uiteindelijke actie als een aparte beslissing behandelen.

In de tweede groep kiest beoordelaar A citeren/beschrijven en beoordelaar B aanval op de aangesproken persoon. De overige 8 kiezen geen van beide. De veldtotalen blijven één en één, maar niemand koos ze allebei. Als je dat de gecombineerde beoordeling van één persoon noemt, voeg je een relatie toe die niet in de afzonderlijke antwoorden staat.

Het voorbeeld verklaart ook waarom we fragmenten telden en niet alle overeenkomende personen optelden. Als twee personen in de eerste groep elk beide labels hadden gekozen, zou het fragment nog steeds één keer meetellen in de groep met een gedeelde keuze binnen één beoordeling. De indeling vraagt of zo’n paar voorkwam, niet hoeveel mensen het aanleverden.

Voor de tweede groep zou een korte fictieve overdracht kunnen luiden: “Besluit nog open. Beoordelaar A wees op citeren/beschrijven; beoordelaar B op taal gericht tegen de aangesproken persoon. Bewaar beide notities bij het fragment en de eerdere reactie. De accountverantwoordelijke controleert welke passage ieder bedoelde voordat een actie wordt gekozen.” De notitie draagt een open vraag over zonder de antwoorden van twee personen tot de conclusie van één persoon te maken.

Bewaar bij een echte overdracht de twee notities uit de tweede groep apart. De volgende beoordelaar kan ze naast de tekst leggen, vragen wat ieder bedoelde en volgens het beleid van het account besluiten. Het onderzoek bepaalt niet of een van beiden gelijk had of welke actie bij de fictieve zaak past.

Beschrijven wat er in een reactie staat en beslissen wat ermee moet gebeuren, hebben verschillende doelen. Een beoordelaar kan geciteerde taal opmerken terwijl de accountverantwoordelijke het gesprek en het geldende beleid nog moet bekijken. Houd die stappen apart, zodat een latere lezer de beslissing kan volgen.

Spreek als bedrijf met een contentmaker af wie beslist voordat een lastig gesprek ontstaat. De persoon die een productklacht begrijpt, mag misschien niet de moderatieaanpak van het account veranderen. Een duidelijke overdracht kan beide rollen benoemen zonder ervan uit te gaan dat elke zaak meerdere beoordelaars vereist.

Werk je als contentmaker alleen, dan past hetzelfde onderscheid in één notitie: wat je opviel, welke context je controleerde en wat je besloot. Eén persoon kan meerdere stappen uitvoeren en hun doel toch duidelijk houden. De dataset laat niet zien dat extra mensen of een extra beoordelingslaag de uitkomsten verbeteren.

Houd afzonderlijke observaties apart totdat je hun relatie begrijpt. Verschillende keuzes kunnen verschillende aandachtspunten weerspiegelen, niet noodzakelijk tegenstrijdige lezingen. Een label voor citeren/beschrijven is geen automatische vrijstelling. Een label voor een aanval op de aangesproken persoon is geen gemeten aanbeveling om te verwijderen. De volgende stap moet passen bij het echte gesprek en de accountregels, niet bij een actie die je uit onze historische percentages afleidt.

Neem deze velden over in je bestaande beoordelings- of overdrachtsdocument. Gebruik alleen informatie die het team nodig heeft, met toegang die bij het gesprek past. Het formulier is hier zonder aanmelding beschikbaar. Het is praktisch advies, geen in het onderzoek waargenomen werkwijze.^[8]

Zaak: [Link of interne referentie.] Account/kanaal: [Waar het gesprek staat.] Gecontroleerd op: [Datum en tijd.] Houd de verwijzing stabiel, zodat de volgende persoon hetzelfde materiaal vindt.

Doel: [Welke vraag vraagt om een besluit?] Verantwoordelijke: [Wie beslist?] Volgende persoon: [Wie heeft de overdracht nodig, als dat van toepassing is?]

Voorgelegde tekst: [De beoordeelde passage, bewaard in de goedgekeurde werkruimte.] Context: [Relevante eerdere of latere reacties.] Ontbrekende context: [Wat niet kon worden gecontroleerd.]

Beoordelaar: [Naam of interne beoordelaarsreferentie.] Beoordeeld op: [Datum en tijd.] Bewaar per persoon een aparte invoer, ook als meerdere mensen dezelfde labels gebruiken.

Observatie citeren/beschrijven: [Ja, nee of onduidelijk.] Onderbouwing: [Welke passage lijkt een aanval van iemand anders te citeren of te beschrijven?] Gebruik dit veld niet om te bepalen dat de tekst onschadelijk is.

Observatie aanval op de aangesproken persoon: [Ja, nee of onduidelijk.] Onderbouwing: [Welke passage lijkt zich tegen de aangesproken persoon te richten, en waarom?] Houd dit antwoord onafhankelijk van de observatie over citeren/beschrijven.

Andere relevante observaties: [Andere punten die volgens het accountbeleid moeten worden meegewogen.] Het ontbreken van een van de twee onderzochte labels beschrijft niet het hele gesprek.

Relatie tussen beoordelingen: [Eén persoon koos beide, verschillende personen kozen verschillende opties, of onduidelijk.] Bewaar bij verschillen de afzonderlijke notities voordat je de zaak samenvat.

Beleidsverwijzing: [De geldende regel of richtlijn.] Besluit: [De werkelijk gekozen actie of de open vraag.] Reden: [Hoe observatie en context het besluit ondersteunen.]

Vervolgstap: [Wie doet daarna wat, als dat nodig is?] Overdracht op: [Wanneer de zaak naar die persoon gaat.] Uitkomst: [Wat na het besluit gebeurde, als dat is gecontroleerd.] Markeer een voorgenomen actie niet als afgerond.

Opnieuw beoordelen wanneer: [Een concrete gebeurtenis of ontbrekend stukje context, als een nieuwe blik nodig is.] Het formulier vereist niet dat elke zaak herhaaldelijk wordt bekeken. Kies een reden die bij de situatie past.

We legden twee aanvullende controles vast voordat we de gecombineerde keuzes berekenden. De eerste liet fragmenten uit 2016 weg, omdat de jaartallen in de gepubliceerde bestanden verder liepen dan de periodes in het bronoverzicht en het oorspronkelijke artikel. Dat liet 13.809 geschikte fragmenten uit de willekeurige steekproef over. Dezelfde 155 hadden beide labels, met dezelfde verdeling 98/57.^[5]

De andere controle gebruikte het apart bemonsterde materiaal rond blokkades. Met dezelfde regel van precies 10 beoordelingen per fragment bevatte dit 42.383 fragmenten. Van de 2.457 met beide labels ergens in de beoordelingen hadden er 1.354 een paar binnen één beoordeling. Bij 1.103 kwamen de labels alleen van verschillende mensen: respectievelijk 55,1% en 44,9%.

De steekproef rond blokkades heeft een ander selectiedoel. Daarom hielden we die apart. De percentages vervangen het hoofdresultaat niet en vormen geen bewijs over huidige merkreacties. De jaarcontrole gaat over het vermelde datumbereik. Geen van beide controles verandert dat dit subjectieve beoordelingen van geselecteerde historische fragmenten zijn.

We gebruikten versie 6 van Wikipedia Talk Labels: Personal Attacks, een openbare dataset van Wikipedia Detox. De bestanden bevatten tekst uit historische wijzigingen op overlegpagina’s en meerdere beoordelingen per fragment door personen die aan de labeltaak deelnamen. Deze analyse gebruikte hun afzonderlijke antwoorden. We maakten geen nieuwe beoordelingen en evalueerden geen moderatiesysteem.^[1][2]

De hoofdvergelijking begon met de willekeurig bemonsterde groep en behield fragmenten met precies 10 volledige beoordelingen van verschillende personen. Door dat aantal op 10 te houden, kreeg elk fragment evenveel kansen op een gecombineerde keuze. Tegelijk selecteerden we daarmee 13.824 van de 37.492 gepubliceerde willekeurige fragmenten. Het resultaat beschrijft dus niet die hele groep.^[3]

Elk geselecteerd fragment telde één keer mee. We controleerden of een van beide labels ergens voorkwam en daarna of beide in het antwoord van één persoon op hetzelfde fragment stonden. De vijf categorieën sluiten elkaar uit en tellen op tot 13.824. De noemer 155 komt uit de twee categorieën met beide labels, niet uit alle beoordelingen of alle bronfragmenten.^[4]

Voordat we de paren bekeken, legden we de steekproefgroepen, de dekkingsregel, de jaarcontrole en minimaal 100 fragmenten voor de hoofdvergelijking binnen de groep met beide labels vast. De waargenomen 155 voldeden daaraan. We eisten geen bepaald percentage, veranderden geen regel voor een gunstiger resultaat en voegden het materiaal rond blokkades niet samen met de willekeurige groep.

Het oorspronkelijke onderzoek gebruikte al afzonderlijke beoordelingen. Later werk voegde elk aanvalsveld op basis van de meerderheid samen. Onze smallere bijdrage is een beschrijvende vergelijking van wie de twee opties binnen een vast aantal beoordelingen aanleverde. Het is geen correctie op de methoden van die studies. De download bevat geaggregeerde resultaten, methoden en reproductie-instructies met de afzonderlijk beschikbare openbare bronbestanden.^[6][7]

Als je een reactie doorgeeft voor moderatie op sociale media, is het belangrijk te weten wie elke observatie deed en wat die persoon beschreef. In deze geselecteerde historische vergelijking had bij 57 van 155 fragmenten met beide labels niemand het paar gekozen. Die relatie zou verdwijnen in een samenvatting met alleen de twee labelnamen.

Houd de observaties van de persoon, de relevante context en het uiteindelijke besluit bij elkaar. Een bedrijf of contentmaker kan dan uitleggen wat de zaak bevat en waarom de gekozen actie daaruit volgt, zonder dat een categorielabel de hele beoordeling moet vervangen.