Две метки модерации могут быть поставлены разными проверяющими
В записи о проверке комментария могут быть две метки без указания, кто их выбрал. Исторические оценки текстов Wikipedia показывают, почему эта деталь нужна тому, кто разбирает случай следующим.
Собственный анализ Influence IQ отобранных оценок из исторического набора данных о личных выпадах Wikipedia Detox. Анализ завершён 25 октября 2026 года (UTC).
Аннотация
Среди 13 824 отобранных исторических фрагментов обсуждений Wikipedia у 155 в наборе из 10 индивидуальных оценок встречались обе метки: цитирование/пересказ и выпад в адрес получателя. В 98 из этих 155 фрагментов как минимум один проверяющий выбрал обе метки. В остальных 57, или 36,8 %, метки исходили только от разных проверяющих. Эта доля относится к тем 155 фрагментам, а не ко всем 13 824.[1][4]
Для бизнеса и авторов, которые работают с комментариями в соцсетях, практический вывод касается передачи случая: сохраняйте наблюдения каждого проверяющего вместе с его оценкой. Наличие двух меток рядом не доказывает, что один человек выбрал обе. Исследование описывает субъективные суждения об исторических фрагментах обсуждений, а не ошибки модерации или правило удаления комментария. Шаблон ниже помогает отразить это различие в записи о проверке.
Представим, что автор просит коллегу посмотреть сложный комментарий. При передаче указаны две метки: цитирование или пересказ выпада и выпад в адрес получателя. Прежде чем решать, что делать, коллеге нужна ещё одна деталь: оба наблюдения сделал один и тот же проверяющий?
Это реальное различие, которое легко потерять в сводке. Один человек мог выбрать оба варианта, а двое — обратить внимание на разные стороны одного текста. По одному списку меток следующий проверяющий не узнает, какой случай имел место. Может остаться неясным и то, какие слова описывал каждый человек.
Мы изучили этот вопрос по индивидуальным оценкам из известного исследовательского набора данных. Исходный материал взят со страниц обсуждений Wikipedia. Здесь он помогает показать связь между метками и проверяющими, чтобы бизнес или автор могли продумать, какие сведения сохранять при передаче своего случая.
Сохраняйте связь каждого наблюдения с проверяющим

Начните с того, что именно описывает каждая метка
Первый вариант спрашивал, цитирует ли текст личный выпад из другого комментария или пересказывает его. Второй касался личного выпада в адрес получателя. Проверяющие могли выбирать несколько вариантов. Это были суждения о представленном тексте, а не решения скрыть его или доказательства нарушения правил.[2]
Мы считали метку присутствующей, если её выбрал хотя бы один из 10 проверяющих. Это сравнение по выбору любого проверяющего. Мы не требовали большинства, не называли метки общим согласием и не проверяли их правильность.
Из 13 824 отобранных фрагментов у 12 025 не было ни одной из этих двух меток. Ещё у 406 была метка цитирования/пересказа без выпада в адрес получателя, а у 1 238 — выпад в адрес получателя без цитирования/пересказа. Оставались 155, у которых обе метки встречались где-либо в оценках.
Эти описания касаются только двух указанных вариантов. У фрагмента без метки выпада в адрес получателя могла быть метка другого вида нападения. Цитирование/пересказ не подтверждает безвредность текста. Точные названия не дают полезной категории незаметно превратиться в более широкий вывод.
Как отмечены 13 824 отобранных фрагмента
Метка считалась присутствующей, если её выбрал хотя бы один из 10 проверяющих. Пять категорий относятся к двум конкретным опциям; «ни одной» не означает, что у фрагмента отсутствовали метки любого вида нападения.
| Метки цитирования/пересказа и выпада в адрес получателя | Фрагменты |
|---|---|
| Ни одной из этих двух меток | 12 025 |
| Метка цитирования/пересказа без метки выпада в адрес получателя | 406 |
| Метка выпада в адрес получателя без метки цитирования/пересказа | 1 238 |
| Обе метки: хотя бы один проверяющий выбрал обе | 98 |
| Обе метки, выбранные только разными проверяющими | 57 |
В 57 фрагментах были обе метки, но ни один проверяющий не выбрал обе
Для 155 фрагментов мы проверили индивидуальный ответ за каждой меткой. В 98 хотя бы один человек выбрал обе опции для того же фрагмента. В 57 цитирование/пересказ и выпад в адрес получателя отметили исключительно разные люди. Ни один индивидуальный ответ в этих 57 не содержал пару меток.
Разделение составило 63,2 % с парой меток от одного проверяющего и 36,8 % с метками только от разных людей. Обе группы входили в один узко определённый набор из 155 фрагментов. Более широкая база из 13 824 фрагментов важна: она показывает, откуда началось это условное сравнение.[4]
Различие меняет то, что можно утверждать по сводке. Если обе метки встречались, можно сказать, что каждую выбрали где-либо в наборе оценок. Само по себе это не позволяет говорить, что отдельный проверяющий описал текст обоими способами.
Но и пара от одного проверяющего не решает, что означали слова. Исходный фрагмент мог объединять добавления за одну правку Wikipedia, в том числе несколько сообщений. Выбор обеих опций одним человеком не показывает, что именно процитированный отрывок был выпадом в адрес получателя. Мы не изучали отдельные фрагменты, чтобы объяснить их оценки.[2][6]
В 57 из 155 фрагментов ни один проверяющий не выбрал обе метки
Сравнение включает только 155 отобранных фрагментов с обеими метками в совокупности 10 оценок. Используется выбор любого проверяющего, а не согласие большинства или проверенные результаты модерации.
| Кто выбрал две метки | Фрагменты | Доля среди 155 фрагментов |
|---|---|---|
| Хотя бы один проверяющий выбрал обе | 98 | 63,2 % |
| Метки исходили только от разных проверяющих | 57 | 36,8 % |
Передайте следующему проверяющему наблюдение, стоящее за меткой
В бизнесе случай может переходить от человека, который следит за комментариями, к ответственному за аккаунт. У автора — от помощника к самому автору. Следующему участнику нужно понять, что заметили, прежде чем отвечать, запрашивать контекст или применять действующие правила аккаунта.
Храните все отметки одного проверяющего вместе. Если он отметил обе опции, оставьте пару как его оценку. Если двое выбрали разные варианты, сохраните отдельные ответы. У случая может быть несколько прочтений, но их не следует превращать в оценку, которой никто не давал.
Затем кратко поясните относящийся к делу отрывок. В своём процессе укажите, что похоже на цитату, кому, по-видимому, адресованы слова и какой соседний ответ помогает понять обмен. Если доступный контекст не даёт ответа, оставьте неопределённость видимой. Это практические предложения; набор данных не проверял их влияние на решения.
Краткой записи может хватить. Её цель — дать следующему человеку проследить ход мысли первого без восстановления всей проверки заново. Для команды, передающей случаи между сменами или между брендом и автором, это означает передавать исходное наблюдение вместе с присвоенной ему категорией.
Вымышленный пример с одинаковыми итоговыми числами меток
Рассмотрим две придуманные группы проверки: в каждой 10 человек оценивают один вымышленный фрагмент. Они иллюстрируют арифметику, а не реальных людей, цитаты или случаи из набора данных. Обе сводки показывают один выбор цитирования/пересказа и один выбор выпада в адрес получателя.[8]
В первой группе проверяющий A выбирает обе опции. Остальные 9 человек не выбирают ни одну из этих двух. Есть один человек, в ответе которого содержится пара. При передаче можно точно сохранить его совместную оценку, оставив окончательное действие отдельным решением.
Во второй группе проверяющий A выбирает цитирование/пересказ, а проверяющий B — выпад в адрес получателя. Остальные 8 не отмечают ни один вариант. Итоговые поля по-прежнему показывают один и один, но никто не выбрал обе метки. Назвав это совместной оценкой одного человека, мы добавили бы связь, которой в индивидуальных ответах нет.
Пример также объясняет, почему мы считали фрагменты, а не суммировали всех подходящих людей. Если бы в первой группе двое выбрали обе метки, фрагмент всё равно вошёл бы в группу с парой от одного проверяющего один раз. Классификация спрашивает, существовала ли такая пара, а не сколько человек её дали.
Для второй группы короткая вымышленная запись могла бы выглядеть так: «Решение ещё открыто. Проверяющий A отметил цитирование/пересказ; проверяющий B — слова в адрес получателя. Сохраните обе заметки вместе с фрагментом и предшествующим ответом. Владелец аккаунта уточнит, какой отрывок имел в виду каждый проверяющий, прежде чем выбирать действие». Такая запись передаёт нерешённый вопрос, не переписывая ответы двух людей в вывод одного.
В реальной передаче случая сохраните две отдельные заметки второй группы. Следующий проверяющий сможет прочесть их вместе с текстом, спросить, что имел в виду каждый, и принять решение по правилам аккаунта. Исследование не устанавливает, был ли кто-то из проверяющих прав и какое действие нужно для этого вымышленного случая.
Одинаковые числа меток могут возникать при разном выборе проверяющих

Один проверяющий выбирает обе метки
В первой придуманной группе один человек выбирает обе метки, а 9 не выбирают ни одну из двух опций.
Два проверяющих выбирают по одной метке
Во второй группе один человек выбирает цитирование/пересказ, другой — выпад в адрес получателя. Остальные 8 не отмечают ни один вариант.
Отделяйте решение по правилам от описания
Описание того, что видно в комментарии, и решение, что с ним делать, нужны для разных целей. Проверяющий может заметить цитату, а владельцу аккаунта всё ещё понадобится учесть соседние реплики и применимые правила. Сохраните шаги отдельно, чтобы позже было видно, как пришли к решению.
Если бизнес работает с автором, заранее согласуйте, кто принимает такое решение, до появления сложного обсуждения. Человек, который понимает жалобу на товар, может не иметь полномочий менять подход аккаунта к модерации. Понятная передача может назвать обе роли, не предполагая, что каждому случаю нужны несколько проверяющих.
У автора, который работает один, это различие может поместиться в одной записи: что вы заметили, какой контекст проверили и что решили. Один человек может пройти несколько этапов, сохраняя ясность их целей. Набор данных не показывает, что дополнительный сотрудник или ещё один уровень проверки улучшает результаты.
Держите разные наблюдения раздельно, пока не поймёте их связь. Разный выбор может отражать разные акценты, а не противоречащие версии. Цитирование/пересказ не даёт автоматического исключения из правил, а метка выпада в адрес получателя не является проверенной исследованием рекомендацией удалить комментарий. Полезное дальнейшее действие опирается на реальную переписку и правила аккаунта, а не выводится из процентов нашего архива.
Шаблон проверки комментариев для копирования
Скопируйте эти поля в свой документ проверки или запись для передачи случая. Используйте только нужные команде сведения с доступом, подходящим для этой переписки. Здесь шаблон доступен без регистрации; это практическое руководство, а не наблюдавшийся в исследовании процесс.[8]
Случай: [Ссылка или внутренняя запись.] Аккаунт/канал: [Где происходит обсуждение.] Время проверки: [Дата и время.] Сохраняйте неизменную ссылку, чтобы следующий человек мог найти тот же материал.
Цель: [Какой вопрос требует решения?] Ответственный: [Кто решит?] Следующий участник: [Кому, если нужно, передать случай?]
Представленный текст: [Проверяемый отрывок, сохранённый в одобренном рабочем пространстве.] Контекст: [Важные предыдущие или последующие ответы.] Недостающий контекст: [Что не удалось проверить.]
Проверяющий: [Имя или внутренний идентификатор проверяющего.] Время оценки: [Дата и время.] Сохраняйте запись каждого человека отдельно, даже если несколько людей используют те же метки.
Наблюдение о цитировании/пересказе: [Да, нет или неясно.] Основание: [Какой отрывок, по-видимому, цитирует или пересказывает чужой выпад?] Не используйте поле как решение о безвредности.
Наблюдение о выпаде в адрес получателя: [Да, нет или неясно.] Основание: [Какой отрывок кажется направленным на получателя и почему?] Отвечайте отдельно от наблюдения о цитировании/пересказе.
Другие важные наблюдения: [Что ещё нужно учесть по правилам аккаунта.] По отсутствию одной из двух меток исследования нельзя судить обо всём обсуждении.
Связь между оценками: [Один человек выбрал обе метки, разные люди выбрали разные варианты или неясно.] Если проверяющие расходятся, сохраните их отдельные заметки до составления сводки.
Правило: [Применимая норма или рекомендация.] Решение: [Фактически выбранное действие или нерешённый вопрос.] Причина: [Как наблюдение и контекст обосновывают решение.]
Дальнейшие шаги: [Кто и что делает дальше, если это нужно?] Время передачи: [Когда случай переходит к этому человеку.] Результат: [Что произошло после решения, если это проверено.] Не отмечайте намерение как выполненное действие.
Повторная проверка нужна, когда: [Конкретное событие или недостающий контекст, если нужно вернуться к случаю.] Шаблон не требует пересматривать каждый случай; выбирайте основание по ситуации.
Проверка по годам сохранила те же 155 фрагментов
До расчёта сочетаний меток мы задали две дополнительные проверки. Первая исключала фрагменты с датой 2016 года, потому что диапазон лет в выпущенных файлах выходил за периоды из обзора источника и исходной статьи. Осталось 13 809 подходящих фрагментов случайной выборки. Те же 155 имели обе метки, с прежним разделением 98/57.[5]
Другая проверка использовала отдельно отобранный материал вокруг событий блокировки. При том же правиле ровно 10 оценок она включала 42 383 фрагмента. Из 2 457 с обеими метками где-либо в ответах у 1 354 была пара от одного проверяющего, а у 1 103 метки исходили только от разных людей: соответственно 55,1 % и 44,9 %.
Выборка вокруг блокировок создавалась для другой цели, поэтому мы оставили её отдельно. Её доли не заменяют главный результат и не становятся данными о нынешних комментариях брендов. Проверка по годам касается записанного диапазона дат; ни одна проверка не отменяет того, что это субъективные оценки отобранных исторических фрагментов.
Сопоставление двух заранее выбранных проверок
В каждой строке ровно 10 полных оценок на фрагмент. У выборки вокруг блокировок отдельная цель отбора. Исключение 2016 года касается различия между диапазоном лет выпущенных файлов и описаниями источника.
| Заранее выбранное сравнение | Подходящие фрагменты | Фрагменты с обеими метками где-либо в оценках | С выбором обеих меток одним проверяющим | Метки только от разных проверяющих | Доля фрагментов с выбором только разных проверяющих среди фрагментов с обеими метками |
|---|---|---|---|---|---|
| Случайная выборка, ровно 10 оценок | 13 824 | 155 | 98 | 57 | 36,8 % |
| Выборка вокруг событий блокировки, отдельно | 42 383 | 2 457 | 1 354 | 1 103 | 44,9 % |
| Случайная выборка без 2016 года | 13 809 | 155 | 98 | 57 | 36,8 % |
Как мы связали метки с индивидуальными оценками
Мы использовали версию 6 открытого набора Wikipedia Talk Labels: Personal Attacks проекта Wikipedia Detox. Выпущенные файлы содержат текст из исторических правок страниц обсуждений и несколько оценок участников краудсорсинга для каждого фрагмента. Анализ использовал индивидуальные ответы, не создавал новых оценок и не проверял систему модерации.[1][2]
Основное сравнение начиналось со случайной группы выпуска и сохраняло фрагменты с ровно 10 различными полными оценками. Фиксированное число 10 давало каждому фрагменту одинаковое число ответов, в которых могла появиться пара меток. При этом отобраны 13 824 из 37 492 опубликованных фрагментов случайной выборки, поэтому результат не описывает всю эту группу.[3]
Каждый выбранный фрагмент давал одно наблюдение в подсчёте. Мы проверяли наличие каждой метки в наборе оценок, затем — есть ли обе в ответе одного человека на тот же фрагмент. Пять категорий взаимоисключающие и в сумме дают 13 824. Знаменатель в 155 фрагментов образован двумя категориями с обеими метками, а не всеми оценками или всеми исходными текстами.[4]
До просмотра сочетаний мы зафиксировали группы отбора, правило охвата, проверку по годам и минимум 100 фрагментов для основного условного сравнения. Наблюдаемые 155 удовлетворили требованию. Мы не задавали нужный процент, не меняли правило ради результата и не объединяли материал вокруг блокировок со случайной группой.
Исходное исследование уже использовало индивидуальные оценки, а более поздняя работа агрегировала каждое поле нападения отдельно по большинству. Наш более узкий вклад — описательное сравнение того, кто выбрал две опции в фиксированном наборе ответов. Это не исправление методов тех работ. Для скачивания доступны агрегированные результаты, методика и инструкции воспроизведения по отдельно доступным открытым исходным файлам.[6][7]
Сделайте следующую проверку понятнее
Полезный вопрос при передаче комментария на модерацию — кто сделал каждое наблюдение и что описывал. В этом сравнении отобранного архива у 57 из 155 фрагментов с обеими метками не было ни одного проверяющего, который выбрал пару. Связь потерялась бы в сводке только из двух названий меток.
Связывайте наблюдения человека, важный контекст и окончательное решение. Тогда бизнес или автор сможет объяснить, что содержит случай и почему выбрано действие, не возлагая на метку категории работу всей проверки.
Регистрация не нужна. Пакет включает анонимные агрегированные результаты, методику, инструкции воспроизведения и многоразовый шаблон. В нём нет исходного текста обсуждений, идентификаторов правок и исполнителей или демографических сведений. Открытые исходные файлы доступны отдельно в выпуске по ссылке.
Источники и примечания
- Источник: Wikipedia Talk Labels: Personal Attacks, версия 6 на Figshare, DOI 10.6084/m9.figshare.4054689.v6, выпуск февраля 2017 года по CC0. Использованы attack_annotated_comments.tsv (файл 7554634) и attack_annotations.tsv (файл 7554637), с проверками MD5 производителя и независимо рассчитанной SHA-256. Influence IQ завершил отбор, расчёты и интерпретацию 25 октября 2026 года (UTC). Исследование не собирало новые комментарии, не создавало новые аннотации и не измеряло живую социальную платформу.
- Источник определяет quoting_attack как восприятие исполнителем цитирования или пересказа выпада из другого комментария, а recipient_attack — как выпад в адрес получателя. Интерфейс допускал несколько вариантов. Общая метка нападения — отдельный ответ источника, а не результат OR по подтипам, восстановленный в этом анализе. Опубликованный текст соединяет добавления за правку; это не краткое описание правки и не обязательно одно целое сообщение или полная беседа. Пространства имён обсуждений, группы отбора и разбиения данных train/dev/test сохраняют документированные значения.
- Полные файлы содержали 115 864 уникальных фрагмента, 1 365 217 уникальных пар оценок «правка/исполнитель» и 4 053 исполнителя. Структурная проверка не нашла дубликатов пар, несвязанных записей при объединении, некорректных строк или отсутствующих и недопустимых значений флагов. Для включения требовались ровно 10 различных полных оценок по всем 5 исходным флагам; учитывались оба документированных пространства обсуждений и все разбиения данных для модели, причём каждый фрагмент учитывался однократно с одинаковым весом. Основная случайная группа сохранила 13 824 из 37 492 фрагментов. Отдельная группа вокруг блокировок — 42 383 из 78 372. Повторение исполнителей в разных фрагментах допустимо; одинаковые тексты не сливались, записи по согласованности разных флагов не удалялись, общая метка нападения не перекодировалась.
- Пусть Q означает любой выбор цитирования/пересказа, а R — любой выбор выпада в адрес получателя для допустимого фрагмента. Наличие обеих меток в наборе требует хотя бы одной Q и одной R где-либо среди 10 оценок. Пара от одного проверяющего дополнительно требует Q и R в одном ответе «правка/исполнитель»; при выборе только разных проверяющих такого ответа нет. Основной условный знаменатель — 98 + 57 = 155; точные дроби 98/155 и 57/155 показаны как 63,2 % и 36,8 %. Проценты считались точной рациональной арифметикой с округлением половин вверх до 1 знака после запятой. До подсчёта пар мы требовали минимум 100 фрагментов с обеими метками для основного условного сравнения, без порога благоприятной доли. Доверительные интервалы для генеральной совокупности, тесты значимости, утверждения о независимости и оценки точности не делались.
- Заранее объявленная проверка выборки вокруг блокировок использовала то же правило ровно 10 оценок и оставалась отдельно от случайной основной. В пяти категориях было: 20 911 без единой из этих двух меток, 959 с цитированием/пересказом без выпада в адрес получателя, 18 056 с выпадом в адрес получателя без цитирования/пересказа, 1 354 с обеими метками от одного проверяющего и 1 103 с обеими только от разных; всего 42 383, условный знаменатель 2 457. Исключение 2016 года из основной случайной группы оставило 13 809 фрагментов с пятью количествами 12 012 / 406 / 1 236 / 98 / 57 в том же порядке. Её 155 условных фрагментов и деление пар 98/57 не изменились. Это описательные проверки, а не независимые повторения на генеральной совокупности или свидетельство сопоставимости групп отбора.
- Работа Wulczyn, Thain и Dixon Ex Machina: Personal Attacks Seen at Scale 2017 года заложила исходное краудсорсинговое исследование и моделирование. В статье Cécillon и коллег для WAC 2020 года сохранялась матрица «исполнитель/поле», а поля нападения агрегировались отдельно по большинству. Это существующие методы, а не ошибки, установленные здесь. Наше сравнение использует наличие метки у любого из 10 и пару в одном ответе, а не качество по меткам большинства. Influence IQ считает, выбрал ли обе опции один проверяющий или только разные люди внутри каждого отобранного фрагмента.
- Обзор источника описывает 2001–2015 годы, исходная статья — 2004–2015; файлы закреплённой версии 6 содержат годы 2001–2016. Схема производителя для признака входа в систему указывает 0/1, тогда как выпущенный файл использует False/True; строки двоичных флагов — 0.0/1.0. Мы сохранили эти документированные и наблюдаемые различия, не приписывая им причину. Парсер принимает точные литералы выпуска, без округления и приведения значений меток. Пакет документирует версии источника, правила отбора и шаги воспроизведения анализа по открытым файлам.
- Две группы проверки по 10 человек, ответы проверяющих A/B и варианты передачи случая — вымышленные учебные примеры. В них нет исходных обсуждений или идентификаторов из набора данных. У обеих придуманных групп один выбор цитирования/пересказа и один выбор выпада в адрес получателя, но пара от одного человека есть только в первой. Шаблон и условные иллюстрации служат практическими пояснениями, а не наблюдаемыми процессами источника, проверенными правилами модерации или гарантиями лучших решений.
Все языковые версии переведены непосредственно с английского источника. Каждая описывает тот же исторический набор данных англоязычной Wikipedia и те же отобранные оценки. Перевод не создаёт выводов о местном рынке. За анализ, интерпретацию и переводы отвечает Influence IQ.