2 etykiety moderacji mogą pochodzić od różnych osób oceniających

Przekazany opis komentarza może zawierać 2 etykiety, ale nie wskazywać, kto je wybrał. Historyczne oceny dyskusji z Wikipedii pokazują, dlaczego ta brakująca informacja ma znaczenie dla kolejnej osoby czytającej sprawę.

Oryginalna analiza Influence IQ dotycząca wybranych ocen z historycznego zbioru ataków osobistych Wikipedia Detox. Analizę ukończono 25 października 2026 (UTC).

Streszczenie

Spośród 13 824 wybranych historycznych fragmentów dyskusji z Wikipedii 155 miało etykietę cytowania lub relacjonowania ataku oraz etykietę ataku skierowanego do adresata. Każda z nich występowała gdzieś wśród 10 indywidualnych ocen danego fragmentu. W 98 ze 155 fragmentów co najmniej 1 osoba oceniająca wybrała obie etykiety. W pozostałych 57, czyli 36,8%, etykiety pochodziły wyłącznie od różnych osób. Odsetek dotyczy tych 155 fragmentów, a nie wszystkich 13 824. [1] [4]

Dla firm i twórców zarządzających komentarzami w mediach społecznościowych praktyczny wniosek dotyczy przekazywania spraw: zachowaj obserwacje każdej osoby przy jej ocenie. 2 etykiety widoczne razem nie dowodzą, że 1 osoba wybrała obie. Badanie opisuje subiektywne osądy dotyczące historycznych fragmentów dyskusji, a nie błędy moderacji ani regułę usuwania komentarza. Poniższy arkusz do skopiowania pozwala wykorzystać to rozróżnienie w zapisie oceny.

Wyobraź sobie, że twórca prosi współpracownika o przyjrzenie się trudnemu komentarzowi. Przekazuje 2 etykiety: ktoś cytuje lub relacjonuje atak i ktoś kieruje atak do adresata. Przed decyzją potrzebny jest jeszcze 1 szczegół: czy obie obserwacje pochodzą od tej samej osoby oceniającej?

To rzeczywiste rozróżnienie, które może zniknąć w podsumowaniu. 1 osoba mogła wybrać obie opcje albo 2 osoby mogły skupić się na różnych aspektach tego samego tekstu. Sama lista etykiet nie mówi kolejnej osobie oceniającej, który wzorzec wystąpił. Może też nie wyjaśniać, jakie słowa opisywała każda osoba.

Zbadaliśmy to pytanie na podstawie indywidualnych ocen z uznanego zbioru badawczego. Materiał źródłowy pochodził ze stron dyskusji Wikipedii. Służy tu pokazaniu relacji między etykietami a osobami oceniającymi oraz pomaga firmom i twórcom ustalić, jakie informacje warto zachować przy przekazywaniu własnych spraw.

Zachowaj związek każdej obserwacji z osobą oceniającą

2 osobne karty notatek osób oceniających łączą się z 1 większą kartą tekstu dyskusji. Koło i kwadrat wskazują pochodzenie każdej notatki.
Ilustracja koncepcyjna. Osobne notatki osób oceniających są powiązane z tym samym fragmentem dyskusji. Pasujące kształty pomagają zachować informację o pochodzeniu każdej obserwacji.

Zacznij od tego, co faktycznie opisuje każda etykieta

Pierwsza opcja dotyczyła tego, czy tekst cytuje lub relacjonuje atak osobisty pochodzący z innego komentarza. Druga odnosiła się do ataku osobistego skierowanego do adresata. Osoby oceniające mogły zaznaczyć więcej niż 1 opcję. Były to osądy o przedstawionym tekście, a nie decyzje o jego ukryciu ani dowody naruszenia zasad. [2]

Uznawaliśmy etykietę za obecną, gdy wybrała ją co najmniej 1 z 10 osób oceniających. Porównanie opierało się na wyborze dowolnej osoby. Nie wymagaliśmy większości, nie opisywaliśmy etykiet jako wspólnego stanowiska i nie sprawdzaliśmy ich poprawności.

Spośród 13 824 wybranych fragmentów 12 025 nie miało żadnej z tych 2 etykiet. Kolejne 406 miało etykietę cytowania lub relacjonowania bez etykiety ataku na adresata, a 1 238 — etykietę ataku na adresata bez etykiety cytowania lub relacjonowania. Pozostało 155 z obiema etykietami gdzieś w zbiorze ich ocen.

Te opisy dotyczą tylko tych 2 opcji. Fragment bez etykiety ataku na adresata mógł nadal mieć etykietę innego rodzaju ataku. Etykieta cytowania lub relacjonowania nie jest potwierdzeniem nieszkodliwości tekstu. Precyzyjne nazwy zapobiegają niezauważalnemu rozszerzeniu przydatnej kategorii w zbyt ogólny wniosek.

Jak oznaczono 13 824 wybrane fragmenty

Etykieta była obecna, jeśli wybrała ją co najmniej 1 z 10 osób oceniających. Podział na 5 kategorii dotyczy 2 konkretnych opcji. „Żadna” nie oznacza, że fragment nie miał żadnej etykiety innego rodzaju ataku.

Liczebności w 5 rozłącznych kategoriach dla 13 824 wybranych historycznych fragmentów, sklasyfikowanych według obecności etykiet cytowania lub relacjonowania i ataku na adresata oraz tego, czy ta sama osoba wybrała obie
Etykiety cytowania lub relacjonowania i ataku na adresataFragmenty
Żadna z tych 2 etykiet12 025
Etykieta cytowania lub relacjonowania bez etykiety ataku na adresata406
Etykieta ataku na adresata bez etykiety cytowania lub relacjonowania1238
Obie etykiety zaznaczyła co najmniej 1 osoba98
Obie etykiety, wyłącznie od różnych osób57
Źródło: analiza Influence IQ wybranych fragmentów próby losowej z dokładnie 10 ocenami w zbiorze Wikipedia Talk Labels: Personal Attacks, wersja 6. Suma 5 liczebności wynosi 13 824. Ostatnie 2 kategorie tworzą grupę warunkową 155 fragmentów. [1] [3] [4]

57 fragmentów miało obie etykiety, ale żadna osoba nie wybrała obu

Wśród 155 fragmentów sprawdziliśmy indywidualną odpowiedź stojącą za każdą etykietą. Dla 98 co najmniej 1 osoba wybrała obie opcje dla tego samego fragmentu. Dla 57 wybory cytowania lub relacjonowania i ataku na adresata pochodziły wyłącznie od różnych osób. Żadna indywidualna odpowiedź dotycząca tych 57 fragmentów nie zawierała pary.

Podział wynosił 63,2% z parą od tej samej osoby i 36,8% z etykietami wyłącznie od różnych osób. Obie grupy należały do tego samego, wąsko zdefiniowanego zbioru 155 fragmentów. Szersza rama 13 824 fragmentów pozostaje ważna, ponieważ pokazuje punkt wyjścia tego porównania warunkowego. [4]

To rozróżnienie zmienia zakres wniosku, jaki można wyciągnąć z podsumowania. Obecność obu etykiet pozwala stwierdzić, że każdą wybrano gdzieś w zbiorze ocen. Sama w sobie nie pozwala powiedzieć, że konkretna osoba oceniająca opisała tekst na oba sposoby.

Również para od tej samej osoby nie rozstrzyga znaczenia słów. Fragment źródłowy mógł łączyć dodatki wprowadzone w 1 edycji strony w Wikipedii, obejmujące więcej niż 1 post. Wybór obu opcji przez 1 osobę nie dowodzi, że to sam cytowany fragment był atakiem na adresata. Nie przeglądaliśmy poszczególnych fragmentów, aby wyjaśnić ich oceny. [2] [6]

W 57 na 155 fragmentów nikt nie wybrał obu etykiet

Porównanie obejmuje tylko 155 wybranych fragmentów, dla których każda z obu etykiet pojawiła się gdzieś wśród 10 ocen. Korzysta z wyborów dowolnej osoby, a nie ze zgodności większości lub zweryfikowanych wyników moderacji.

Liczebności i odsetki warunkowe obecności etykiet u tej samej osoby lub wyłącznie u różnych osób wśród 155 wybranych fragmentów z obiema etykietami
Od kogo pochodzą 2 etykietyFragmentyUdział w grupie 155 fragmentów
Co najmniej 1 osoba wybrała obie9863,2%
Etykiety pochodzą wyłącznie od różnych osób5736,8%
Dla 98 fragmentów para pochodziła od tej samej osoby: 98/155, czyli 63,2%. Dla 57 obie etykiety wystąpiły wyłącznie u różnych osób: 57/155, czyli 36,8%. Mianownik to 155 w ramach głównej grupy 13 824 wybranych historycznych fragmentów. [4]

Przekaż kolejnej osobie obserwację stojącą za etykietą

W firmie sprawa może przejść od osoby śledzącej komentarze do osoby odpowiedzialnej za konto. U twórcy może trafić od asystenta do samego twórcy. Kolejna osoba musi zrozumieć, co zauważono, zanim zdecyduje, czy odpowiedzieć, poszukać szerszego kontekstu lub zastosować obowiązujące zasady konta.

Zachowaj razem wybory każdej osoby. Gdy ktoś zaznacza obie opcje, pozostaw tę parę jako ocenę tej osoby. Gdy 2 osoby wybierają różne opcje, zachowaj odrębne odpowiedzi. Sprawa może zawierać więcej niż 1 interpretację bez łączenia ich w ocenę, której nikt faktycznie nie sformułował.

Następnie dodaj krótkie wyjaśnienie odpowiedniego ustępu. We własnym procesie wskaż, co wydaje się cytatem, kto wydaje się adresatem i która z otaczających odpowiedzi pomaga zrozumieć wymianę. Zaznacz niepewność, jeśli dostępny kontekst nie pozwala odpowiedzieć. To praktyczne sugestie; zbiór danych nie służył do sprawdzenia ich wpływu na decyzje.

Może wystarczyć krótka notatka. Chodzi o to, by kolejna osoba mogła prześledzić rozumowanie poprzedniej bez odtwarzania całego przeglądu. Dla zespołu przekazującego sprawy między zmianami lub między marką a twórcą oznacza to przekazanie pierwotnej obserwacji razem z przypisaną jej kategorią.

Fikcyjny przykład z identyczną liczbą wskazań każdej etykiety

Rozważ 2 fikcyjne grupy oceniające, każdą z 10 osobami analizującymi 1 zmyślony fragment. Grupy ilustrują arytmetykę; nie przedstawiają rzeczywistych osób, cytatów ani spraw ze zbioru. Oba podsumowania pokazują 1 wybór cytowania lub relacjonowania i 1 wybór ataku na adresata. [8]

W pierwszej grupie osoba A wybiera obie opcje. Pozostałe 9 osób nie wybiera żadnej z tych 2 opcji. Jest więc 1 osoba, której odpowiedź zawiera parę. Przekazanie sprawy może wiernie zachować jej łączną ocenę, pozostawiając ostateczne działanie do osobnej decyzji.

W drugiej grupie osoba A wybiera cytowanie lub relacjonowanie, a osoba B — atak na adresata. Pozostałe 8 osób nie wybiera żadnej z tych opcji. Sumy w polach nadal wynoszą 1 i 1, ale nikt nie wybrał obu. Nazwanie tego łączną oceną 1 osoby dodałoby relację, której nie ma w indywidualnych odpowiedziach.

Dlatego jednostką liczenia był fragment, nie liczba osób z danym wyborem. Nawet gdyby obie etykiety zaznaczyły 2 osoby z pierwszej grupy, fragment należałby do kategorii wspólnego wyboru tylko 1 raz. Rozstrzygamy istnienie pary, nie liczbę oceniających, którzy ją zaznaczyli.

Dla drugiej grupy krótka fikcyjna notatka mogłaby brzmieć: „Decyzja nadal otwarta. Osoba A wskazała cytowanie lub relacjonowanie; osoba B — język skierowany do adresata. Zachowaj obie notatki przy fragmencie i wcześniejszej odpowiedzi. Osoba odpowiedzialna za konto sprawdzi, który ustęp każda osoba miała na myśli, zanim wybierze działanie”. Notatka przekazuje nierozstrzygnięte pytanie bez przekształcania odpowiedzi 2 osób we wniosek 1 osoby.

Przy rzeczywistym przekazaniu zachowaj 2 oddzielne notatki z drugiej grupy. Kolejna osoba oceniająca może przeczytać je razem z tekstem, zapytać o intencję każdej osoby i podjąć decyzję zgodnie z zasadami konta. Badanie nie ustala, czy którakolwiek ocena była trafna ani jakie działanie należałoby wybrać w tej fikcyjnej sprawie.

Te same sumy wskazań etykiet mogą wynikać z różnych układów ocen

2 rzędy pokazują identyczne zbiorcze podsumowania etykiet. W górnym rzędzie 1 karta osoby oceniającej zawiera oba znaczniki; w dolnym znaczniki rozdzielono między 2 karty osób oceniających.
  1. 1 osoba wybiera obie opcje

    W pierwszej fikcyjnej grupie 1 osoba wybiera obie etykiety, a 9 nie wybiera żadnej z tych 2 opcji.

  2. 2 osoby wybierają po 1 opcji

    W drugiej grupie 1 osoba wybiera cytowanie lub relacjonowanie, a inna — atak na adresata. Pozostałe 8 nie wybiera żadnej z tych opcji.

Ilustracja fikcyjnych grup. Karty skupiają się na osobach, od których pochodzą 2 etykiety; w każdej grupie są też oceniający, którzy nie wybrali żadnej z tych opcji. To nie jest zmierzony rozkład 155 fragmentów badania.

Oddziel decyzję opartą na zasadach od opisu

Opis tego, co pojawia się w komentarzu, i decyzja o dalszym działaniu służą różnym celom. Osoba oceniająca może zauważyć cytowany język, podczas gdy osoba odpowiedzialna za konto nadal musi uwzględnić otaczającą wymianę i właściwe zasady. Zachowaj te kroki osobno, aby późniejszy odbiorca mógł zobaczyć, jak podjęto decyzję.

Jeśli współpracujesz z twórcą jako firma, ustal, kto podejmuje taką decyzję, zanim pojawi się trudna wymiana. Osoba rozumiejąca reklamację produktu nie musi mieć uprawnienia do zmiany sposobu moderacji konta. Czytelne przekazanie może wskazać obie role bez założenia, że każda sprawa wymaga kilku oceniających.

Dla twórcy pracującego samodzielnie to samo rozróżnienie może znaleźć się w 1 notatce: co zauważono, jaki kontekst sprawdzono i co zdecydowano. 1 osoba może wykonywać kilka kroków, zachowując jasny cel każdego z nich. Zbiór danych nie pokazuje, że zatrudnienie dodatkowych osób lub dodanie kolejnej warstwy oceny poprawia wyniki.

Zachowaj odrębne obserwacje osobno, dopóki nie zrozumiesz ich relacji. Różne wybory mogą wynikać z odmiennego punktu uwagi, nie ze sprzecznych opisów. Cytowanie lub relacjonowanie nie daje automatycznego wyjątku, a etykieta ataku na adresata nie jest rekomendacją usunięcia popartą pomiarem. Przydatne kolejne działanie wynika z rzeczywistej rozmowy i zasad konta, a nie z procentów w naszym archiwum.

Arkusz oceny komentarzy do skopiowania

Skopiuj te pola do używanego dokumentu oceny lub przekazania sprawy. Uwzględnij tylko informacje potrzebne zespołowi, z dostępem odpowiednim do rozmowy. Arkusz jest dostępny tutaj bez rejestracji; to praktyczne wskazówki, a nie proces zaobserwowany w badaniu. [8]

Sprawa: [Link lub wewnętrzne odniesienie.] Konto/kanał: [Gdzie pojawia się wymiana.] Czas sprawdzenia: [Data i godzina.] Zachowaj stałe odniesienie, aby kolejna osoba mogła znaleźć ten sam materiał.

Cel: [Jakie pytanie wymaga rozstrzygnięcia?] Osoba odpowiedzialna: [Kto podejmie decyzję?] Kolejna osoba: [Kto ma otrzymać sprawę, jeśli trzeba ją przekazać?]

Przedstawiony tekst: [Oceniany ustęp zachowany w zatwierdzonym obszarze roboczym.] Otaczający kontekst: [Istotne wcześniejsze lub późniejsze odpowiedzi.] Brakujący kontekst: [Czego nie udało się sprawdzić.]

Osoba oceniająca: [Imię i nazwisko lub wewnętrzne oznaczenie osoby.] Czas oceny: [Data i godzina.] Zachowaj osobny wpis każdej osoby, nawet gdy kilka osób używa tych samych etykiet.

Obserwacja cytowania lub relacjonowania: [Tak, nie lub niejasne.] Podstawa: [Który ustęp wydaje się cytować lub relacjonować atak sformułowany przez inną osobę?] Nie używaj tego pola do rozstrzygania o nieszkodliwości.

Obserwacja ataku na adresata: [Tak, nie lub niejasne.] Podstawa: [Który ustęp wydaje się skierowany do adresata i dlaczego?] Zachowaj tę odpowiedź niezależnie od obserwacji cytowania lub relacjonowania.

Inne istotne obserwacje: [Każda inna kwestia wymagająca uwzględnienia według zasad konta.] Nie traktuj braku 1 z 2 etykiet badania jako pełnego opisu wymiany.

Relacja między ocenami: [1 osoba wybrała obie opcje, różne osoby wybrały różne opcje lub niejasne.] Jeśli oceny się różnią, zachowaj notatki poszczególnych osób przed podsumowaniem sprawy.

Odniesienie do zasad: [Właściwa reguła lub wskazówka.] Decyzja: [Rzeczywiście wybrane działanie lub nierozstrzygnięte pytanie.] Powód: [Jak obserwacja i kontekst uzasadniają tę decyzję.]

Dalsze działania: [Kto i co zrobi dalej, o ile będzie to potrzebne?] Czas przekazania: [Kiedy sprawa trafia do tej osoby.] Wynik: [Co wydarzyło się po decyzji, jeśli to sprawdzono.] Nie oznaczaj planowanego działania jako zakończonego.

Sprawdź ponownie, gdy: [Konkretne zdarzenie lub brakujący element kontekstu, jeśli potrzebna jest kolejna ocena.] Arkusz nie wymaga ponownego przeglądu każdej sprawy; podaj powód odpowiadający sytuacji.

Kontrola roku nie zmieniła grupy 155 fragmentów

Przed obliczeniem par etykiet określiliśmy 2 kontrole pomocnicze. Pierwsza pomijała fragmenty datowane na 2016 r., ponieważ zakres lat w opublikowanych plikach wykraczał poza okresy opisane w przeglądzie źródła i pierwotnym artykule. Pozostało 13 809 kwalifikujących się fragmentów próby losowej. Obie etykiety nadal miało tych samych 155 fragmentów, z niezmienionym podziałem 98/57. [5]

W drugim sprawdzeniu użyliśmy osobno próbkowanego materiału związanego ze zdarzeniami blokad. Po zastosowaniu identycznego wymogu dokładnie 10 ocen pozostało 42 383 fragmenty. Obie etykiety pojawiły się wśród ocen 2 457 fragmentów: dla 1 354 zaznaczyła je ta sama osoba, a dla 1 103 pochodziły tylko od różnych osób. Udziały wyniosły kolejno 55,1% oraz 44,9%.

Grupa wzbogacona o materiał związany z blokadami ma inny cel doboru, dlatego pozostawiliśmy ją osobno. Jej odsetki nie zastępują głównego wyniku ani nie stanowią dowodu o obecnych komentarzach marek. Kontrola roku dotyczy zapisanego zakresu dat. Żadna z kontroli nie usuwa konieczności odczytywania wyników jako subiektywnych ocen wybranych historycznych fragmentów.

Porównanie wyników 2 kontroli wybranych z góry

Każdy wiersz wymaga dokładnie 10 kompletnych ocen na fragment. Próba wzbogacona o materiał związany z blokadami ma odrębny cel doboru. Wyłączenie 2016 r. odnosi się do różnicy między zakresem lat w opublikowanych danych a opisami źródła.

Rama główna i 2 ramy analiz wrażliwości, mianowniki warunkowe, liczby fragmentów z parą od tej samej osoby, liczby z etykietami wyłącznie od różnych osób oraz warunkowe odsetki tej drugiej grupy
Porównanie wybrane z góryFragmenty spełniające kryteriaFragmenty z obiema etykietami w zbiorze ocenZ parą od tej samej osobyObie etykiety wyłącznie od różnych osóbUdział fragmentów z etykietami wyłącznie od różnych osób wśród fragmentów z obiema etykietami
Próba losowa, dokładnie 10 ocen13 824155985736,8%
Oddzielna próba wzbogacona o materiał związany z blokadami42 38324571354110344,9%
Próba losowa bez 2016 r.13 809155985736,8%
Porównanie główne i porównanie po wyłączeniu roku mają po 155 fragmentów w grupie warunkowej z podziałem 98/57, co daje 36,8% z etykietami wyłącznie od różnych osób. Oddzielna próba wzbogacona o materiał związany z blokadami ma 2 457 fragmentów z podziałem 1 354/1 103, czyli 44,9%. Nie łączono próbek ani nie szacowano porównań populacyjnych lub przyczynowych. [5]

Jak powiązaliśmy etykiety z indywidualnymi ocenami

Wykorzystaliśmy wersję 6 publicznego zbioru Wikipedia Talk Labels: Personal Attacks z projektu Wikipedia Detox. Opublikowane pliki zawierają tekst pochodzący z historycznych edycji stron dyskusji i wiele ocen crowdsourcingowych każdego fragmentu. Analiza korzystała z indywidualnych odpowiedzi; nie tworzyła nowych ocen ani nie oceniała systemu moderacji. [1] [2]

Główne porównanie zaczęliśmy od losowej grupy w wydaniu źródłowym, zachowując fragmenty z dokładnie 10 odrębnymi, kompletnymi ocenami. Stała liczba 10 dawała każdemu fragmentowi tyle samo okazji do otrzymania pary wskazań. Oznaczała też wybór 13 824 z 37 492 opublikowanych fragmentów próby losowej, więc wynik nie opisuje całej tej grupy. [3]

Każdy wybrany fragment liczono 1 raz. Sprawdzaliśmy, czy którakolwiek etykieta pojawiła się gdziekolwiek, a następnie czy obie wystąpiły w odpowiedzi tej samej osoby na ten sam fragment. 5 kategorii jest rozłącznych, a ich liczebności sumują się do 13 824. Mianownik 155 fragmentów pochodzi z 2 kategorii z obiema etykietami, a nie ze wszystkich ocen lub wszystkich fragmentów źródłowych. [4]

Przed sprawdzeniem par ustaliliśmy grupy próbkowania, regułę kompletności ocen, kontrolę roku i minimum 100 fragmentów w głównym porównaniu warunkowym. Zaobserwowane 155 spełniło ten wymóg. Nie wyznaczaliśmy wymaganego odsetka, nie zmienialiśmy reguły na korzyść wyniku ani nie łączyliśmy materiału związanego z blokadami z grupą losową.

Pierwotne badanie już korzystało z indywidualnych ocen, a późniejsze prace agregowały każde pole ataku według większości. Nasz węższy wkład to opisowe porównanie osób, od których pochodziły te 2 opcje w ustalonym zbiorze ocen. Nie jest to poprawka do metod tamtych badań. Pakiet do pobrania zawiera wyniki zagregowane, metody i instrukcje odtworzenia analizy z publicznych plików źródłowych dostępnych osobno. [6] [7]

Ułatw kolejnej osobie zrozumienie oceny

W przekazaniu komentarza do dalszej oceny warto ustalić autora i przedmiot każdej uwagi. W wybranym materiale archiwalnym w 57 na 155 fragmentów z obiema etykietami nie było ich wspólnego wyboru przez żadną osobę. Same nazwy etykiet nie zachowują tej informacji o powiązaniu ocen.

Zachowaj powiązanie obserwacji danej osoby, istotnego kontekstu i ostatecznej decyzji. Firma lub twórca mogą wtedy wyjaśnić, co zawiera sprawa i z czego wynika wybrane działanie, bez zastępowania całej oceny nazwą kategorii.

Bez rejestracji. Pakiet zawiera anonimowe wyniki zagregowane, metody, instrukcje odtworzenia i arkusz do ponownego wykorzystania. Nie zawiera oryginalnych tekstów dyskusji, identyfikatorów edycji, identyfikatorów osób oceniających ani danych demograficznych. Oryginalne publiczne pliki źródłowe są dostępne osobno w podlinkowanym wydaniu.

Źródła i uwagi

  1. Źródło: Wikipedia Talk Labels: Personal Attacks, Figshare, wersja 6, DOI 10.6084/m9.figshare.4054689.v6, wydana w lutym 2017 w ramach CC0. Wykorzystaliśmy attack_annotated_comments.tsv (plik 7554634) i attack_annotations.tsv (plik 7554637), sprawdzając sumy MD5 podane przez twórców źródła oraz niezależnie obliczone sumy SHA-256. Influence IQ zakończyło dobór, obliczenia i interpretację 25 października 2026 (UTC). Badanie nie zbierało nowych komentarzy, nie tworzyło nowych anotacji ani nie mierzyło działającej platformy społecznościowej.
  2. Twórcy zbioru definiują quoting_attack jako postrzegane przez osobę oceniającą cytowanie lub relacjonowanie ataku z innego komentarza, a recipient_attack jako atak skierowany do adresata. Interfejs pozwalał na wielokrotny wybór. Ogólny atak jest odrębną odpowiedzią źródłową; w tej analizie nie odtwarzaliśmy jej przez OR podtypów. Opublikowany tekst łączy dodatki wprowadzone podczas zmiany wersji strony; nie jest opisem zmian i nie musi stanowić 1 całego posta ani pełnej rozmowy. Przestrzenie nazw dyskusji, grupy próbkowania i podziały modelu train/dev/test zachowują udokumentowane znaczenia.
  3. Pełne pliki zawierały 115 864 unikatowe fragmenty, 1 365 217 unikatowych ocen dla par edycja/osoba oceniająca oraz 4 053 osoby oceniające. Kontrola strukturalna nie wykazała duplikatów par, powiązań bez pasującego rekordu, nieprawidłowo zbudowanych wierszy ani brakujących lub błędnych wartości flag. Każdy fragment musiał mieć dokładnie 10 odrębnych ocen, z których każda była kompletna we wszystkich 5 flagach źródłowych. Analiza obejmowała obie udokumentowane przestrzenie nazw dyskusji i wszystkie podziały modelu; każdy fragment wnosił 1 obserwację o tej samej wadze. Główna grupa losowa zachowała 13 824 z 37 492 fragmentów. Oddzielnie dobrana grupa wzbogacona o materiał związany z blokadami zachowała 42 383 z 78 372. Powtarzanie się oceniających przy różnych fragmentach było prawidłowe. Nie łączono identycznych tekstów, nie usuwano ocen według spójności między flagami ani nie przekodowywano ogólnego ataku.
  4. Niech Q oznacza dowolny wybór cytowania lub relacjonowania, a R dowolny wybór ataku na adresata dla kwalifikującego się fragmentu. Obecność obu etykiet wymaga co najmniej 1 wyboru Q i 1 wyboru R gdzieś wśród 10 ocen. Para od tej samej osoby dodatkowo wymaga Q i R w 1 odpowiedzi określonej parą edycja/osoba oceniająca; w kategorii wyłącznie różnych osób takiej odpowiedzi nie ma. Główny mianownik warunkowy to 98 + 57 = 155; dokładne ułamki 98/155 i 57/155 pokazano jako 63,2% i 36,8%. Odsetki korzystają z dokładnej arytmetyki wymiernej i zaokrąglania połówek w górę do 1 miejsca po przecinku. Przed obliczeniem par wymagaliśmy co najmniej 100 fragmentów z obiema etykietami w głównym porównaniu warunkowym, bez progu korzystnego odsetka. Nie wyznaczano populacyjnego przedziału ufności, nie testowano istotności, nie twierdzono, że obserwacje są niezależne, ani nie szacowano trafności.
  5. Ustalona z góry analiza wrażliwości dla grupy wzbogaconej o materiał związany z blokadami stosowała tę samą regułę dokładnie 10 ocen i pozostawała oddzielna od głównej próby losowej. Jej 5 liczebności to: 20 911 bez żadnej z tych etykiet, 959 z etykietą cytowania lub relacjonowania bez etykiety ataku na adresata, 18 056 z etykietą ataku na adresata bez etykiety cytowania lub relacjonowania, 1 354 z obiema etykietami u tej samej osoby i 1 103 z obiema wyłącznie u różnych osób. Razem 42 383; mianownik warunkowy 2 457. Wyłączenie 2016 r. z głównej próby losowej pozostawiło 13 809 fragmentów, z 5 liczebnościami w tej samej kolejności: 12 012 / 406 / 1 236 / 98 / 57. Grupa warunkowa 155 fragmentów i podział par 98/57 nie zmieniły się. Są to kontrole opisowe, nie niezależne powtórzenia dla populacji ani dowód porównywalności próbek.
  6. W pracy Ex Machina: Personal Attacks Seen at Scale z 2017 r. (Wulczyn, Thain i Dixon) opracowano podstawowy proces crowdsourcingu i modelowania. Publikacja z 2020 r. (Cécillon i współautorzy, WAC) zachowywała macierz osoba oceniająca × pole i agregowała pola ataków osobno według większości. To istniejące metody, a nie błędy ustalone w tym badaniu. Nasze porównanie wykorzystuje obecność etykiety u dowolnej z 10 osób i parę w tej samej odpowiedzi, a nie wyniki większościowych etykiet. Porównanie Influence IQ liczy, czy 2 opcje dla danego wybranego fragmentu pochodziły od tej samej osoby, czy wyłącznie od różnych osób.
  7. Przegląd źródła opisuje lata 2001–2015, a pierwotny artykuł 2004–2015; pliki wykorzystanej wersji 6 zawierają wartości roku 2001–2016. Schemat twórców dotyczący statusu zalogowania podaje 0/1, natomiast opublikowany plik używa False/True; ciągi flag binarnych to 0.0/1.0. Zachowaliśmy te udokumentowane i zaobserwowane różnice bez przypisywania im przyczyny. Parser przyjmuje dokładne literały z wydania, bez zaokrąglania ani wymuszania konwersji wartości etykiet. Pakiet dokumentuje wersje źródeł, reguły doboru i kroki odtworzenia analizy z publicznych plików.
  8. 2 grupy po 10 osób, odpowiedzi osób A/B i decyzje dotyczące przekazania sprawy to fikcyjne przykłady objaśniające. Nie zawierają oryginalnych tekstów dyskusji ani identyfikatorów ze zbioru. W obu wymyślonych grupach cytowanie lub relacjonowanie wybrano 1 raz i atak na adresata 1 raz, ale tylko w pierwszej para pochodzi od tej samej osoby. Arkusz i ilustracje koncepcyjne są praktycznymi wyjaśnieniami, nie procesami pracy zaobserwowanymi w zbiorze, przetestowanymi zasadami moderacji ani gwarancjami lepszych decyzji.

Wszystkie wersje językowe są tłumaczone bezpośrednio z angielskiego źródła. Każde wydanie opisuje ten sam historyczny zbiór anglojęzycznej Wikipedii i wybrane oceny. Tłumaczenie nie tworzy wyników dla lokalnych rynków. Influence IQ odpowiada za analizę, interpretację i tłumaczenia.

Zaplanuj osoby i wskazówki potrzebne przy przekazywaniu spraw