Dva moderační štítky mohou pocházet od různých hodnotitelů
Při předání komentáře k posouzení mohou být uvedeny dva štítky, aniž je zřejmé, kdo je vybral. Historická hodnocení úryvků z Wikipedie ukazují, proč je tento chybějící detail důležitý pro dalšího člověka, který případ čte.
Původní analýza Influence IQ vybraných hodnocení v historickém souboru dat Wikipedia Detox o osobních útocích. Analýza byla dokončena 25. října 2026 (UTC).
Abstrakt
Mezi 13 824 vybranými historickými úryvky diskusí z Wikipedie bylo 155 takových, u kterých se v jejich 10 jednotlivých hodnoceních vyskytl štítek citace či popisu útoku i štítek útoku na adresáta. U 98 z těchto 155 úryvků vybral oba štítky alespoň jeden hodnotitel. U zbývajících 57, tedy 36,8 %, pocházely štítky pouze od různých hodnotitelů. Procento popisuje těchto 155 úryvků, nikoli všech 13 824.[1][4]
Pro firmy a tvůrce spravující komentáře na sociálních sítích plyne praktické poučení pro předávání případů: ponechte pozorování každého hodnotitele spojená s jeho vlastním posouzením. Dva štítky uvedené společně neprokazují, že je vybral jeden člověk. Studie popisuje subjektivní hodnocení historických diskusních úryvků, nikoli chyby moderování nebo pravidlo pro odstranění komentáře. Níže uvedený pracovní list ke zkopírování převádí toto rozlišení do praktického záznamu posouzení.
Představte si tvůrce, který požádá kolegu o posouzení obtížného komentáře. Předaný případ obsahuje dva štítky: někdo cituje či popisuje útok a někdo směřuje útok na adresáta. Než kolega rozhodne, co udělat, potřebuje ještě jednu informaci: učinil obě pozorování stejný hodnotitel?
Je to skutečný rozdíl, který se ve shrnutí může ztratit. Jeden člověk mohl vybrat obě možnosti, nebo se dva lidé mohli zaměřit na různé stránky téhož textu. Samotný seznam štítků dalšímu hodnotiteli neřekne, která varianta nastala. Může také zůstat nejasné, která slova každý z lidí popisoval.
Tuto otázku jsme zkoumali pomocí jednotlivých hodnocení ze zavedeného výzkumného souboru dat. Původní materiál pocházel z diskusních stránek Wikipedie. Zde slouží ke zviditelnění vztahu mezi štítky a hodnotiteli a následně pomáhá firmě nebo tvůrci promyslet, jaké informace uchovat při vlastním předávání případů.
Každé pozorování ponechte propojené s jeho hodnotitelem

Začněte tím, co jednotlivé štítky skutečně popisují
První možnost se ptala, zda text cituje nebo popisuje osobní útok pocházející z jiného komentáře. Druhá se týkala osobního útoku směřovaného na adresáta. Hodnotitelé mohli vybrat více než jednu možnost. Šlo o posouzení předloženého textu, nikoli o rozhodnutí ho skrýt nebo o důkaz porušení pravidel.[2]
Štítek jsme považovali za přítomný, pokud ho vybral alespoň jeden z 10 hodnotitelů. Srovnávali jsme tedy výskyt u kteréhokoli hodnotitele. Nevyžadovali jsme většinu, neoznačovali štítky za shodu hodnotitelů ani netestovali jejich správnost.
Z 13 824 vybraných úryvků nemělo 12 025 ani jeden z těchto dvou štítků. Dalších 406 mělo štítek citace či popisu útoku bez štítku útoku na adresáta, zatímco 1 238 mělo štítek útoku na adresáta bez štítku citace či popisu útoku. Zbývalo 155 úryvků s oběma štítky někde v jejich hodnoceních.
Tyto popisy se týkají pouze uvedených dvou možností. Úryvek bez štítku útoku na adresáta mohl mít jiný druh štítku útoku. Štítek citace či popisu útoku nepotvrzuje, že text byl neškodný. Přesné názvy brání tomu, aby se z užitečné kategorie nenápadně stal širší závěr.
Jak bylo označeno 13 824 vybraných úryvků
Štítek byl přítomen, pokud ho vybral alespoň jeden z 10 hodnotitelů. Těchto pět kategorií se týká dvou konkrétních možností; „ani jeden“ neznamená, že úryvek neměl žádný druh štítku útoku.
| Štítky citace či popisu útoku a útoku na adresáta | Úryvky |
|---|---|
| Ani jeden z těchto dvou štítků | 12 025 |
| Citace či popis útoku bez útoku na adresáta | 406 |
| Útok na adresáta bez citace či popisu útoku | 1 238 |
| Oba štítky s alespoň jednou dvojicí od stejného hodnotitele | 98 |
| Oba štítky pouze od různých hodnotitelů | 57 |
57 úryvků mělo oba štítky, ale žádný hodnotitel nevybral oba
U těchto 155 úryvků jsme zkontrolovali jednotlivou odpověď za každým štítkem. U 98 vybral alespoň jeden člověk obě možnosti pro tentýž úryvek. U 57 pocházely volby citace či popisu útoku a útoku na adresáta pouze od různých lidí. Žádná jednotlivá odpověď v těchto 57 neobsahovala danou dvojici.
Rozdělení činilo 63,2 % s dvojicí od stejného hodnotitele a 36,8 % se štítky pouze od různých hodnotitelů. Obě skupiny patřily do téhož úzce vymezeného souboru 155 úryvků. Důležitý zůstává i širší soubor 13 824 úryvků, protože ukazuje, odkud podmíněné srovnání vycházelo.[4]
Toto rozlišení mění, co lze ze shrnutí tvrdit. Znalost výskytu obou štítků dovoluje říci, že každý byl někde v souboru hodnocení vybrán. Sama o sobě však neopravňuje tvrdit, že jednotlivý hodnotitel popsal text oběma způsoby.
Ani varianta se stejným hodnotitelem nerozhoduje o významu slov. Zdrojový úryvek mohl spojovat části textu přidané během jedné revize Wikipedie včetně více příspěvků. To, že jeden hodnotitel vybral obě možnosti, neukazuje, že citovaná pasáž sama byla útokem na adresáta. Jednotlivé úryvky jsme neprohlíželi, abychom jejich hodnocení vysvětlili.[2][6]
57 ze 155 úryvků nemělo dvojici od stejného hodnotitele
Toto srovnání zahrnuje pouze 155 vybraných úryvků, u nichž se oba štítky objevily někde v jejich 10 hodnoceních. Používá volby kteréhokoli hodnotitele, nikoli většinovou shodu nebo ověřené výsledky moderování.
| Kdo poskytl oba štítky | Úryvky | Podíl ze 155 úryvků |
|---|---|---|
| Alespoň jeden hodnotitel vybral obě možnosti | 98 | 63,2 % |
| Štítky pocházely pouze od různých hodnotitelů | 57 | 36,8 % |
Předejte dalšímu hodnotiteli pozorování, na kterém štítek stojí
Ve firmě může případ přecházet od člověka sledujícího komentáře k osobě odpovědné za účet. U tvůrce může přejít od asistenta k tvůrci. Další člověk potřebuje pochopit, čeho si předchozí všiml, než rozhodne, zda odpovědět, získat více kontextu nebo uplatnit stávající pravidla účtu.
Ponechte volby každého člověka pohromadě. Pokud hodnotitel vybere obě možnosti, uchovejte tuto dvojici jako jeho posouzení. Pokud dva hodnotitelé vyberou různé možnosti, zachovejte oddělené odpovědi. Případ může připouštět více čtení, aniž by se spojila do posouzení, které ve skutečnosti nikdo neudělal.
Potom přidejte krátké vysvětlení příslušné pasáže. Ve vlastním postupu určete, co se jeví jako citace, kdo je zřejmě oslovován a která okolní odpověď pomáhá výměnu vysvětlit. Pokud dostupný kontext otázku nezodpovídá, ponechte nejistotu viditelnou. Jde o praktické návrhy; soubor dat netestoval jejich vliv na rozhodnutí.
Může stačit krátká poznámka. Cílem je umožnit dalšímu člověku sledovat uvažování prvního, aniž by celé posouzení musel sestavovat znovu. Pro tým předávající případy mezi směnami nebo mezi značkou a tvůrcem to znamená předat původní pozorování spolu s přiřazenou kategorií.
Fiktivní příklad se stejnými součty štítků
Představte si dvě smyšlené skupiny hodnotitelů, v každé 10 lidí posuzujících jeden fiktivní úryvek. Skupiny ilustrují výpočet; nejde o skutečné lidi, citace ani případy ze souboru dat. Obě shrnutí uvádějí jednu volbu citace či popisu útoku a jednu volbu útoku na adresáta.[8]
V první skupině hodnotitel A vybere obě možnosti. Ostatních 9 lidí nevybere ani jednu z těchto dvou možností. Existuje tedy jeden člověk, jehož odpověď obsahuje danou dvojici. Při předání lze přesně uchovat jeho společné posouzení a konečný krok ponechat k samostatnému rozhodnutí.
Ve druhé skupině vybere hodnotitel A citaci či popis útoku a hodnotitel B útok na adresáta. Zbývajících 8 nevybere ani jednu možnost. V obou polích je stále po jedné volbě, ale nikdo nevybral obě. Označit to za společné posouzení jednoho člověka by přidalo vztah, který jednotlivé odpovědi neobsahují.
Příklad také vysvětluje, proč jsme počítali úryvky, místo abychom sčítali všechny odpovídající osoby. Kdyby dva lidé v první skupině každý vybrali oba štítky, úryvek by se do skupiny s dvojicí od stejného hodnotitele stále započítal jen jednou. Jeho zařazení se řídí tím, zda taková dvojice existovala, nikoli kolik lidí ji poskytlo.
Pro druhou skupinu by krátká fiktivní předávací poznámka mohla znít: „Rozhodnutí zůstává otevřené. Hodnotitel A označil citaci či popis útoku; hodnotitel B označil formulace mířené na adresáta. Ponechte obě poznámky u úryvku a předchozí odpovědi. Vlastník účtu před volbou dalšího postupu ověří, kterou pasáž měl každý hodnotitel na mysli.“ Poznámka předává nezodpovězenou otázku a nepřepisuje odpovědi dvou lidí jako závěr jednoho člověka.
Při skutečném předání zachovejte dvě oddělené poznámky z druhé skupiny. Další hodnotitel je může číst společně s textem, zeptat se, co každý z lidí mínil, a rozhodnout podle pravidel účtu. Studie neprokazuje, zda měl některý hodnotitel pravdu nebo jaký postup by se měl u tohoto fiktivního případu zvolit.
Stejné součty štítků mohou vzniknout z různých vzorců hodnocení

Jeden hodnotitel vybere obě možnosti
V první smyšlené skupině vybere jeden člověk oba štítky a 9 nevybere ani jednu z těchto dvou možností.
Dva hodnotitelé vyberou každý jednu možnost
Ve druhé skupině vybere jeden člověk citaci či popis útoku a druhý útok na adresáta. Ostatních 8 nevybere ani jednu možnost.
Oddělte rozhodnutí podle pravidel od popisu
Popis toho, co se v komentáři objevuje, a rozhodnutí, co s ním udělat, mají různé účely. Hodnotitel si může všimnout citovaných slov, zatímco vlastník účtu musí ještě zvážit okolní výměnu a příslušná pravidla. Tyto kroky uchovejte odděleně, aby pozdější čtenář viděl, jak rozhodnutí vzniklo.
Firma spolupracující s tvůrcem si má předem dohodnout, kdo rozhoduje, ještě než nastane obtížná výměna. Člověk, který rozumí stížnosti na produkt, nemusí mít oprávnění měnit přístup účtu k moderování. Jasné předání může pojmenovat obě role, aniž by předpokládalo, že každý případ potřebuje několik hodnotitelů.
U tvůrce pracujícího samostatně může stejné rozlišení zůstat v jedné poznámce: čeho jste si všimli, jaký kontext jste ověřili a jak jste rozhodli. Jeden člověk může provést několik kroků a přitom jasně odlišit jejich účely. Soubor dat neukazuje, že přidání lidí nebo další vrstvy posuzování zlepšuje výsledky.
Oddělená pozorování ponechte oddělená, dokud neporozumíte jejich vztahu. Různé volby mohou odrážet různé zaměření pozornosti, nikoli protichůdná hodnocení. Volba citace či popisu útoku není automatickou výjimkou a volba útoku na adresáta není naměřeným doporučením ke smazání. Užitečný další krok je ten, který podporuje skutečná výměna a pravidla účtu, nikoli krok odvozený z našich archivních procent.
Pracovní list pro posuzování komentářů ke zkopírování
Zkopírujte tato pole do svého stávajícího dokumentu pro posuzování nebo předávání případů. Používejte jen informace, které váš tým potřebuje, s přístupem vhodným pro danou komunikaci. Pracovní list je zde dostupný bez registrace; jde o praktické pokyny, nikoli o postup pozorovaný ve studii.[8]
Případ: [Odkaz nebo interní reference.] Účet/kanál: [Kde výměna probíhá.] Čas kontroly: [Datum a čas.] Referenci neměňte, aby další člověk našel stejný materiál.
Účel: [Jaká otázka vyžaduje rozhodnutí?] Odpovědná osoba: [Kdo rozhodne?] Další osoba: [Kdo potřebuje případ převzít, pokud vůbec někdo?]
Předložený text: [Posuzovaná pasáž uchovaná ve vašem schváleném pracovním prostoru.] Okolní kontext: [Relevantní předchozí nebo pozdější odpovědi.] Chybějící kontext: [Co nebylo možné ověřit.]
Hodnotitel: [Jméno nebo interní reference hodnotitele.] Čas posouzení: [Datum a čas.] Záznam každého člověka ponechte oddělený, i když více lidí používá stejné štítky.
Pozorování citace či popisu útoku: [Ano, ne nebo nejasné.] Podklad: [Která pasáž zřejmě cituje či popisuje útok pocházející od někoho jiného?] Nepoužívejte toto pole jako rozhodnutí o neškodnosti.
Pozorování útoku na adresáta: [Ano, ne nebo nejasné.] Podklad: [Která pasáž zřejmě míří na adresáta a proč?] Tuto odpověď ponechte nezávislou na pozorování citace či popisu útoku.
Další relevantní pozorování: [Jakákoli další otázka, kterou je třeba zvážit podle pravidel účtu.] Absenci jednoho ze dvou štítků studie nepovažujte za úplný popis výměny.
Vztah mezi posouzeními: [Jeden člověk vybral obě možnosti, různí lidé vybrali různé možnosti nebo je vztah nejasný.] Pokud se jejich hodnocení liší, před shrnutím případu uchovejte jejich jednotlivé poznámky.
Odkaz na pravidla: [Příslušné pravidlo nebo pokyn.] Rozhodnutí: [Skutečně zvolený krok nebo nezodpovězená otázka.] Důvod: [Jak pozorování a kontext podporují toto rozhodnutí.]
Další postup: [Kdo udělá co dál, pokud vůbec něco?] Čas předání: [Kdy případ přechází k této osobě.] Výsledek: [Co se stalo po rozhodnutí, pokud to bylo ověřeno.] Zamýšlený krok neoznačujte za dokončený.
Kdy znovu posoudit: [Konkrétní událost nebo chybějící souvislost, pokud je potřeba další kontrola.] Pracovní list nevyžaduje opakované posuzování každého případu; použijte důvod odpovídající situaci.
Při kontrole podle roku zůstalo stejných 155 úryvků
Před výpočtem dvojic štítků jsme stanovili dvě podpůrné kontroly. První vynechala úryvky z roku 2016, protože rozsah let ve zveřejněných souborech přesahoval období popsaná v přehledu zdroje a původním článku. Kritéria pak splňovalo 13 809 úryvků z náhodného vzorku. Oba štítky mělo stejných 155 úryvků se stejným rozdělením 98/57.[5]
Druhá kontrola použila materiál, který byl v souboru dat zvlášť vybrán z okolí událostí blokování. Při stejném pravidle přesně 10 hodnocení obsahoval 42 383 úryvků. Z 2 457 úryvků s oběma štítky někde v hodnoceních mělo 1 354 dvojici od stejného hodnotitele a 1 103 štítky pouze od různých lidí: 55,1 % a 44,9 % v tomto pořadí.
Soubor obohacený o případy kolem blokování má jiný účel výběru, proto jsme ho ponechali oddělený. Jeho procenta nenahrazují hlavní výsledek ani nedokládají nic o současných komentářích značek. Kontrola podle roku řeší zaznamenaný rozsah dat; ani jedna kontrola neodstraňuje nutnost chápat výsledky jako subjektivní hodnocení vybraných historických úryvků.
Jak dopadla obě předem vybraná kontrolní srovnání
Každý řádek používá přesně 10 úplných hodnocení na úryvek. Vzorek obohacený o případy kolem blokování má samostatný účel výběru. Vyřazení roku 2016 řeší rozdíl mezi zveřejněným rozsahem let a popisy zdroje.
| Předem vybrané srovnání | Způsobilé úryvky | Úryvky s oběma štítky kdekoli v hodnoceních | S dvojicí od stejného hodnotitele | Pouze od různých hodnotitelů | Podíl úryvků se štítky pouze od různých hodnotitelů mezi úryvky s oběma štítky |
|---|---|---|---|---|---|
| Náhodný vzorek, přesně 10 hodnocení | 13 824 | 155 | 98 | 57 | 36,8 % |
| Vzorek obohacený o případy kolem blokování, vedený odděleně | 42 383 | 2 457 | 1 354 | 1 103 | 44,9 % |
| Náhodný vzorek bez roku 2016 | 13 809 | 155 | 98 | 57 | 36,8 % |
Jak jsme štítky přiřadili zpět k jednotlivým hodnocením
Použili jsme verzi 6 veřejného souboru dat Wikipedia Talk Labels: Personal Attacks z projektu Wikipedia Detox. Zveřejněné soubory obsahují text odvozený z revizí historických diskusních stránek a více hodnocení od lidí zapojených prostřednictvím crowdsourcingu pro každý úryvek. Tato analýza použila jednotlivé odpovědi; nevytvářela nová hodnocení ani nehodnotila moderační systém.[1][2]
Hlavní srovnání vycházelo z náhodného vzorku zveřejněného souboru a ponechalo úryvky s přesně 10 úplnými hodnoceními od různých hodnotitelů. Pevný počet 10 dal každému úryvku stejný počet příležitostí získat společnou volbu obou možností. Zároveň tak bylo vybráno 13 824 z 37 492 zveřejněných úryvků náhodného vzorku, takže výsledek nepopisuje celý tento vzorek.[3]
Každý vybraný úryvek se započítal jednou. Ověřili jsme, zda se některý ze štítků objevil kdekoli, a potom zda oba byly v odpovědi jednoho člověka k témuž úryvku. Pět kategorií se vzájemně vylučuje a jejich součet je 13 824. Jmenovatel 155 úryvků vychází ze dvou kategorií s oběma štítky, nikoli ze všech hodnocení nebo všech zdrojových úryvků.[4]
Ještě před zkoumáním dvojic jsme pevně stanovili výběrové skupiny, pravidlo pokrytí, kontrolu podle roku a minimum 100 úryvků v hlavním podmíněném srovnání. Zjištěných 155 tuto podmínku splnilo. Nestanovili jsme požadované procento, neměnili pravidlo ve prospěch výsledku ani neslučovali materiál z okolí blokování s náhodným vzorkem.
Původní výzkum už jednotlivá hodnocení používal a pozdější práce agregovala každé pole útoku podle většiny. Naším užším přínosem je toto popisné srovnání toho, kdo poskytl obě možnosti v pevném souboru hodnocení. Nejde o opravu metod těchto studií. Balíček ke stažení nabízí souhrnné výsledky, metody a pokyny k reprodukci s využitím samostatně dostupných veřejných zdrojových souborů.[6][7]
Usnadněte porozumění příštímu posouzení
Užitečnou otázkou při předávání případů moderování na sociálních sítích je, kdo učinil každé pozorování a co popisoval. V tomto srovnání vybraného archivu nemělo 57 ze 155 úryvků s oběma štítky žádného jednotlivého hodnotitele, který vybral danou dvojici. Shrnutí obsahující pouze názvy dvou štítků by tento vztah ztratilo.
Ponechte pozorování daného člověka, příslušný kontext a konečné rozhodnutí propojené. Firma nebo tvůrce pak může vysvětlit, co případ obsahuje a proč z toho zvolený krok vyplývá, aniž by měl pouhý štítek kategorie nahrazovat celé posouzení.
- Stáhnout všechny zobrazené výsledky (CSV)
- Stáhnout výsledky, metody a pracovní list pro posuzování (ZIP)
Bez registrace. Balíček obsahuje anonymní souhrnné výsledky, metody, pokyny k reprodukci a opakovaně použitelný pracovní list. Neobsahuje původní text diskusí, ID revizí, ID hodnotitelů ani demografické údaje. Původní veřejné zdrojové soubory jsou dostupné samostatně v odkazovaném vydání.
Zdroje a poznámky
- Zdroj: Wikipedia Talk Labels: Personal Attacks, verze 6 na Figshare, DOI 10.6084/m9.figshare.4054689.v6, zveřejněná v únoru 2017 pod licencí CC0. Použili jsme attack_annotated_comments.tsv (soubor 7554634) a attack_annotations.tsv (soubor 7554637) s ověřením pomocí MD5 od poskytovatele a nezávisle vypočtených kontrolních součtů SHA-256. Influence IQ dokončila výběr, výpočty a interpretaci 25. října 2026 (UTC). Studie neshromažďovala nové komentáře, nevytvářela nové anotace ani neměřila živou sociální platformu.
- Poskytovatel definuje quoting_attack jako vnímání hodnotitele, že text cituje či popisuje útok z jiného komentáře, a recipient_attack jako útok mířený na adresáta. Rozhraní umožňovalo více voleb. Obecný útok je samostatná zdrojová odpověď, nikoli logické OR znovu sestavené z podtypů v této analýze. Zveřejněný text spojuje části přidané během jedné revize; nejde o shrnutí editace, nutně jeden celý příspěvek ani úplnou konverzaci. Jmenné prostory diskusí, skupiny výběru a rozdělení dat pro model na train/dev/test si zachovávají dokumentovaný význam.
- Úplné soubory obsahovaly 115 864 jedinečných úryvků, 1 365 217 jedinečných dvojic revize/hodnotitel pro jednotlivá hodnocení a 4 053 hodnotitelů. Kontrola struktury nezjistila duplicitní dvojice, propojení bez odpovídajícího záznamu, chybně utvořené řádky ani chybějící či neplatné hodnoty příznaků. Způsobilost vyžadovala přesně 10 úplných hodnocení od různých hodnotitelů ve všech 5 zdrojových příznacích; zahrnovala oba dokumentované jmenné prostory diskusí a všechna rozdělení dat pro model, přičemž každý úryvek měl při započítání stejnou váhu. Hlavní náhodná skupina ponechala 13 824 z 37 492 úryvků. Samostatně vybraná skupina obohacená o případy kolem blokování ponechala 42 383 ze 78 372. Opakovaný výskyt hodnotitelů u různých úryvků byl přípustný; neslučovali jsme shodné texty, nevyřazovali záznamy podle soudržnosti mezi příznaky ani nepřekódovávali obecný útok.
- Nechť Q označuje jakoukoli volbu citace či popisu útoku a R jakoukoli volbu útoku na adresáta u způsobilého úryvku. Přítomnost obou štítků kdekoli vyžaduje alespoň jedno Q a jedno R někde mezi 10 hodnoceními. Přítomnost dvojice od stejného hodnotitele navíc vyžaduje Q a R v jedné odpovědi pro dvojici revize/hodnotitel; přítomnost obou štítků pouze od různých hodnotitelů takovou odpověď nemá. Hlavní podmíněný jmenovatel je 98 + 57 = 155; přesné zlomky 98/155 a 57/155 zobrazujeme jako 63,2 % a 36,8 %. Procenta vycházejí z přesné racionální aritmetiky a zaokrouhlují se na 1 desetinné místo, přičemž přesná polovina se zaokrouhluje nahoru. Před výpočtem dvojic jsme pro hlavní podmíněné srovnání vyžadovali alespoň 100 úryvků s oběma štítky, bez hranice požadovaného procenta. Nestanovovali jsme interval spolehlivosti pro populaci, neprováděli test významnosti, netvrdili nezávislost ani neodhadovali přesnost.
- Předem stanovená kontrola citlivosti ve skupině obohacené o případy kolem blokování použila stejné pravidlo přesně 10 hodnocení a zůstala oddělená od hlavní náhodné skupiny. Pět počtů bylo následujících: 20 911 úryvků nemělo ani jeden z obou štítků, 959 mělo citaci či popis útoku bez útoku na adresáta, 18 056 mělo útok na adresáta bez citace či popisu útoku, 1 354 mělo oba štítky od stejného hodnotitele a 1 103 mělo oba štítky pouze od různých hodnotitelů; celkem 42 383, podmíněný jmenovatel 2 457. Po vyřazení roku 2016 z hlavní náhodné skupiny zůstalo 13 809 úryvků s pěti počty 12 012 / 406 / 1 236 / 98 / 57 ve stejném pořadí. Jejích 155 podmíněných úryvků i rozdělení dvojic 98/57 zůstalo beze změny. Jde o popisné kontroly, nikoli o nezávislé replikace na úrovni populace nebo důkaz, že jsou skupiny výběru srovnatelné.
- Práce Wulczyna, Thaina a Dixona z roku 2017 Ex Machina: Personal Attacks Seen at Scale položila základy crowdsourcingu a modelování. Článek Cécillona a kolegů z roku 2020 na WAC zachoval matici hodnotitelů podle polí a každé pole útoku agregoval samostatně podle většiny. Jde o existující metody, nikoli o chyby prokázané touto studií. Naše srovnání používá přítomnost štítku v kterémkoli z 10 hodnocení a spárování v téže odpovědi, nikoli výkonnost většinového štítku. Srovnání Influence IQ počítá, zda obě možnosti u každého vybraného úryvku poskytl stejný hodnotitel, nebo pouze různí hodnotitelé.
- Přehled zdroje popisuje období 2001–2015 a původní článek 2004–2015; soubory připnuté verze 6 obsahují roky 2001–2016. Schéma poskytovatele pro stav přihlášení uvádí 0/1, zatímco zveřejněný soubor používá False/True; řetězce binárních příznaků jsou 0.0/1.0. Tyto dokumentované a pozorované rozdíly jsme zachovali, aniž bychom jim přisuzovali příčinu. Parser přijímá přesné zveřejněné literály bez zaokrouhlování nebo převodu hodnot štítků. Balíček dokumentuje verze zdroje, pravidla výběru a kroky k reprodukci analýzy z veřejných souborů.
- Dvě skupiny po 10 hodnotitelích, odpovědi hodnotitelů A/B a volby při předávání jsou fiktivní výukové příklady. Neobsahují původní text diskusí ani identifikátory ze souboru dat. Obě smyšlené skupiny mají jednu volbu citace či popisu útoku a jednu volbu útoku na adresáta, ale jen první má dvojici od stejného člověka. Pracovní list a koncepční ilustrace jsou praktická vysvětlení, nikoli pozorované postupy ze zdroje, otestovaná pravidla moderování nebo záruky lepších rozhodnutí.
Všechny jazykové verze se překládají přímo z anglického zdroje. Každá verze popisuje stejný historický soubor dat z anglické Wikipedie a stejná vybraná hodnocení. Překlad nevytváří zjištění o místním trhu. Za analýzu, interpretaci a překlady odpovídá Influence IQ.