댓글 검토 라벨 2개가 서로 다른 검토자에게서 나올 수 있습니다

댓글 검토 인계 기록에는 라벨 2개만 있고 누가 골랐는지는 빠질 수 있습니다. 과거 Wikipedia 검토 응답을 통해, 그 정보가 빠지면 다음 담당자가 사례를 이해하는 데 왜 문제가 되는지 살펴봅니다.

과거 Wikipedia Detox 인신공격 데이터셋에서 선택한 검토 응답을 대상으로 한 Influence IQ의 독자적 분석입니다. 분석은 2026년 10월 25일(UTC)에 완료했습니다.

초록

선택된 과거 Wikipedia 토론 발췌문 13,824개 중 155개에는 개별 검토 응답 10개에 걸쳐 인신공격의 인용·전달 라벨과 수신자 대상 공격 라벨이 모두 나타났습니다. 이 155개 중 98개에서는 적어도 1명의 검토자가 두 라벨을 모두 선택했습니다. 나머지 57개, 즉 36.8%에서는 두 라벨이 서로 다른 검토자에게서만 나왔습니다. 이 비중의 분모는 전체 13,824개가 아니라 해당 155개입니다.[1][4]

소셜 미디어 댓글을 관리하는 기업과 크리에이터에게는 인계 과정에서 참고할 점이 있습니다. 각 검토자의 관찰 내용을 그 사람의 판단과 연결해 보존하세요. 라벨 2개가 함께 표시된다고 1명이 둘 다 골랐다는 뜻은 아닙니다. 이 연구는 과거 토론 발췌문에 대한 주관적 판단을 설명하며, 검토 오류나 댓글 삭제 규칙을 다루지 않습니다. 아래의 복사 가능한 점검표로 이 구분을 실제 검토 기록에 적용할 수 있습니다.

크리에이터가 까다로운 댓글을 봐 달라고 동료에게 부탁하는 상황을 생각해 보세요. 인계 기록에는 누군가가 공격을 인용하거나 전달한다는 라벨과, 누군가가 수신자를 향해 공격한다는 라벨이 있습니다. 동료가 대응을 정하기 전에 한 가지를 더 알아야 합니다. 두 관찰을 같은 검토자가 했을까요?

요약에서 놓칠 수 있는 중요한 구분입니다. 한 사람이 두 항목을 모두 선택했을 수도 있고, 두 사람이 같은 글의 서로 다른 면에 주목했을 수도 있습니다. 라벨 목록만으로는 다음 검토자가 어느 경우인지 알 수 없습니다. 각 사람이 어떤 문구를 설명했는지도 불분명해질 수 있습니다.

기존 연구 데이터셋의 개별 검토 응답으로 이 질문을 살펴봤습니다. 원자료는 Wikipedia 토론 페이지에서 왔습니다. 이 글에서는 라벨과 검토자의 관계를 드러내고, 기업이나 크리에이터가 자체 인계 기록에 어떤 정보를 남길지 생각하는 데 참고하도록 사용합니다.

각 관찰을 해당 검토자와 연결해 두세요

서로 떨어진 검토 메모 카드 2개가 더 큰 토론 글 카드 1개로 연결되어 있습니다. 원과 사각형으로 각 메모의 출처를 구분합니다.
개념도입니다. 서로 다른 검토자의 메모가 같은 토론 발췌문에 연결됩니다. 같은 모양의 표시로 각 관찰이 누구에게서 나왔는지 알아볼 수 있습니다.

각 라벨이 실제로 무엇을 설명하는지부터 살펴보세요

첫 항목은 다른 댓글에서 나온 인신공격을 해당 글이 인용하거나 전달하는지 물었습니다. 두 번째 항목은 수신자를 향한 인신공격에 관한 것입니다. 검토자는 여러 항목을 선택할 수 있었습니다. 제시된 글에 대한 판단이며, 글을 숨기겠다는 결정이나 정책 위반의 증거는 아닙니다.[2]

검토자 10명 중 적어도 1명이 선택하면 그 라벨이 있는 것으로 보았습니다. 누구든 선택했는지를 비교한 것입니다. 과반수 선택을 요구하거나 합의된 라벨이라고 부르지 않았으며, 판단이 맞는지도 검증하지 않았습니다.

선택된 발췌문 13,824개 중 12,025개에는 이 두 라벨이 모두 없었습니다. 406개에는 수신자 대상 공격 라벨 없이 인용·전달 라벨만, 1,238개에는 인용·전달 라벨 없이 수신자 대상 공격 라벨만 있었습니다. 나머지 155개에서는 검토 응답 어딘가에 두 라벨이 모두 나타났습니다.

이 설명은 해당 두 항목에만 관한 것입니다. 수신자 대상 공격 라벨이 없는 발췌문에도 다른 종류의 공격 라벨이 있을 수 있습니다. 인용·전달 라벨도 그 글이 무해하다는 인증이 아닙니다. 이름을 정확히 써야 유용한 범주가 더 넓은 결론으로 슬며시 바뀌는 일을 막을 수 있습니다.

선택한 발췌문 13,824개의 라벨 분류

검토자 10명 중 적어도 1명이 선택하면 해당 라벨이 있는 것으로 보았습니다. 5개 범주는 특정 항목 2개에 관한 것입니다. ‘둘 다 없음’이 모든 종류의 공격 라벨이 없다는 뜻은 아닙니다.

선택된 과거 발췌문 13,824개를 인용·전달 및 수신자 대상 공격 라벨의 유무와 동일 검토자의 공동 선택 여부로 나눈, 서로 겹치지 않는 5개 범주의 수
인용·전달 및 수신자 대상 공격 라벨발췌문 수
두 라벨 모두 없음12,025
인용·전달 있음, 수신자 대상 공격 없음406
수신자 대상 공격 있음, 인용·전달 없음1,238
두 라벨 모두 있음, 적어도 1명이 둘 다 선택98
두 라벨 모두 있음, 서로 다른 검토자에게서만 나옴57
출처: 『Wikipedia Talk Labels: Personal Attacks』 버전 6에서 검토 응답이 정확히 10개인 무작위 표본 발췌문을 선택한 Influence IQ 분석. 5개 범주의 합은 13,824개입니다. 마지막 2개 범주가 조건부 집단 155개를 이룹니다.[1][3][4]

57개 발췌문에는 두 라벨이 있었지만, 둘 다 고른 검토자는 없었습니다

155개 발췌문에서 각 라벨을 선택한 개별 응답을 확인했습니다. 98개에서는 적어도 1명이 같은 발췌문에 두 항목을 모두 선택했습니다. 57개에서는 인용·전달과 수신자 대상 공격 선택이 서로 다른 사람에게서만 나왔습니다. 그 57개에는 두 항목이 함께 들어 있는 개별 응답이 하나도 없었습니다.

같은 검토자가 두 라벨을 함께 고른 발췌문은 63.2%, 서로 다른 검토자에게서만 나온 발췌문은 36.8%였습니다. 두 집단 모두 엄격히 정의된 동일한 발췌문 155개 안에 속합니다. 이 조건부 비교가 어디에서 시작됐는지 보여 주므로, 더 큰 선택틀인 발췌문 13,824개도 중요합니다.[4]

이 구분에 따라 요약에서 할 수 있는 말이 달라집니다. 두 라벨이 모두 나타났다면 각각이 검토 응답 중 어딘가에서 선택됐다고 말할 수 있습니다. 그 사실만으로 한 검토자가 글을 두 가지 방식으로 모두 설명했다고 말할 수는 없습니다.

같은 검토자가 둘 다 선택했더라도 문구의 뜻이 확정되는 것은 아닙니다. 원자료의 발췌문에는 한 차례 Wikipedia 수정에서 추가된 내용이 합쳐져 게시물 여러 개가 들어갈 수 있습니다. 한 검토자가 두 항목을 골랐다고 인용된 구절 자체가 수신자 대상 공격이었다는 뜻은 아닙니다. 이번 분석은 판단 이유를 설명하려고 개별 발췌문을 직접 살펴보지는 않았습니다.[2][6]

발췌문 155개 중 57개에는 두 라벨을 함께 고른 검토자가 없었습니다

검토 응답 10개 어딘가에 두 라벨이 모두 나타난 발췌문 155개만 비교합니다. 어느 검토자든 선택했는지를 기준으로 하며, 다수결 합의나 검증된 댓글 처리 결과를 사용하지 않습니다.

두 라벨이 모두 있는 선택 발췌문 155개에서 동일 검토자 공동 선택과 서로 다른 검토자만의 선택을 비교한 개수 및 조건부 백분율
두 라벨을 선택한 사람발췌문 수발췌문 155개 중 비중
적어도 1명의 검토자가 둘 다 선택9863.2%
서로 다른 검토자에게서만 나온 라벨5736.8%
98개에는 같은 검토자의 공동 선택이 있었습니다. 98/155, 즉 63.2%입니다. 57개에서는 두 라벨이 서로 다른 검토자에게서만 나왔습니다. 57/155, 즉 36.8%입니다. 분모 155개는 주요 분석 대상으로 선택한 과거 발췌문 13,824개 안의 일부입니다.[4]

다음 검토자에게 라벨의 근거가 된 관찰을 전달하세요

기업에서는 댓글을 살피는 사람에게서 계정 책임자로, 크리에이터의 경우 보조 담당자에게서 크리에이터로 인계될 수 있습니다. 다음 담당자는 답글을 달지, 맥락을 더 확인할지, 계정의 기존 정책을 적용할지 정하기 전에 무엇이 관찰됐는지 이해해야 합니다.

각 사람의 선택을 한데 묶어 보존하세요. 검토자가 두 항목을 모두 골랐다면 그 쌍을 해당 검토자의 판단으로 남기세요. 두 검토자가 서로 다른 항목을 골랐다면 응답을 따로 보존하세요. 하나의 사례에 여러 해석을 남길 수 있으며, 누구도 실제로 내리지 않은 판단으로 합칠 필요는 없습니다.

이어서 관련 구절에 짧은 설명을 덧붙이세요. 자체 검토 과정에서 무엇이 인용된 것으로 보이는지, 누구를 향한 말인지, 어떤 앞뒤 답글이 대화를 이해하는 데 도움이 되는지 적으세요. 확인할 수 있는 맥락만으로 답하기 어렵다면 불확실성도 드러내 두세요. 이는 실무 제안이며, 데이터셋에서 결정에 미치는 효과를 검증한 방법은 아닙니다.

짧은 메모로도 충분할 수 있습니다. 다음 담당자가 전체 검토를 처음부터 다시 하지 않고도 앞선 사람의 판단 근거를 따라갈 수 있게 하는 것이 목적입니다. 교대하는 팀이나 브랜드와 크리에이터 사이에서 사례를 넘길 때는 범주뿐 아니라 그 범주를 선택하게 한 원래 관찰도 함께 전달하세요.

라벨별 합계가 같은 가상 예시

각각 10명이 가상의 발췌문 1개를 검토하는 가상 검토 집단 2개를 생각해 보세요. 계산 원리를 설명하기 위한 예시이며, 데이터셋의 실제 사람이나 인용문, 사례가 아닙니다. 두 요약에는 인용·전달 선택 1건과 수신자 대상 공격 선택 1건이 각각 표시됩니다.[8]

첫 번째 집단에서는 검토자 A가 두 항목을 모두 선택합니다. 나머지 9명은 두 항목 모두 선택하지 않습니다. 응답에 두 항목이 함께 있는 사람이 1명입니다. 인계 기록에는 그 사람의 결합된 판단을 정확히 남기고, 최종 조치는 별도로 결정할 수 있습니다.

두 번째 집단에서는 검토자 A가 인용·전달을, 검토자 B가 수신자 대상 공격을 선택합니다. 나머지 8명은 두 항목 모두 선택하지 않습니다. 항목별 합계는 여전히 각각 1건이지만, 둘 다 고른 사람은 없습니다. 이를 한 사람의 결합된 판단이라고 부르면 개별 응답에는 없는 관계를 덧붙이게 됩니다.

이 예시는 왜 해당하는 사람을 모두 더하지 않고 발췌문을 셌는지도 설명합니다. 첫 집단에서 2명이 각각 두 라벨을 모두 골랐더라도, 그 발췌문은 동일 검토자 공동 선택 집단에 1번만 들어갑니다. 분류 기준은 그런 응답이 있었는지이며, 몇 명이 그렇게 답했는지는 아닙니다.

두 번째 집단의 가상 인계 메모는 이렇게 쓸 수 있습니다. ‘결정은 아직 내리지 않았습니다. 검토자 A는 인용·전달을, 검토자 B는 수신자를 향한 표현을 확인했습니다. 발췌문과 그 앞의 답글에 두 메모를 함께 보관하세요. 계정 책임자는 각 검토자가 어느 구절을 뜻했는지 확인한 뒤 조치를 정할 예정입니다.’ 두 사람의 응답을 한 사람의 결론으로 바꾸지 않고, 해결되지 않은 질문을 전달하는 메모입니다.

실제 인계에서도 두 번째 집단처럼 메모 2개를 따로 보존하세요. 다음 검토자는 글과 메모를 함께 읽고, 각 사람이 무엇을 뜻했는지 물은 뒤 계정 정책에 따른 결정을 내릴 수 있습니다. 이 연구는 어느 검토자가 맞았는지, 가상 사례에 어떤 조치를 취해야 하는지 밝히지 않습니다.

라벨 합계가 같아도 검토 응답의 조합은 다를 수 있습니다

두 줄에 표시된 라벨 합계는 같습니다. 위쪽에는 검토자 카드 1개에 표식 2개가 모두 있고, 아래쪽에는 검토자 카드 2개에 표식이 나뉘어 있습니다.
  1. 검토자 1명이 둘 다 선택

    첫 번째 가상 집단에서는 1명이 두 라벨을 모두 고르고, 9명은 두 항목 모두 고르지 않습니다.

  2. 검토자 2명이 하나씩 선택

    두 번째 집단에서는 한 사람이 인용·전달을, 다른 사람이 수신자 대상 공격을 고릅니다. 나머지 8명은 두 항목 모두 고르지 않습니다.

가상 검토 집단을 설명하는 그림입니다. 카드에는 두 라벨을 선택한 사람이 강조되어 있으며, 각 집단에는 두 항목 모두 선택하지 않은 검토자도 있습니다. 연구의 발췌문 155개에서 측정한 분포를 나타내는 그림은 아닙니다.

내용 설명과 정책 결정을 구분하세요

댓글에 무엇이 나타나는지 설명하는 일과 어떻게 처리할지 결정하는 일은 목적이 다릅니다. 검토자가 인용된 표현을 발견했더라도, 계정 책임자는 앞뒤 대화와 적용할 정책을 더 살펴봐야 할 수 있습니다. 나중에 읽는 사람이 결정 과정을 알 수 있도록 각 단계를 구분해 남기세요.

크리에이터와 일하는 기업이라면 까다로운 대화가 생기기 전에 누가 결정을 내릴지 합의해 두세요. 제품 불만을 이해하는 사람과 계정의 댓글 관리 방식을 바꿀 권한이 있는 사람은 다를 수 있습니다. 모든 사례에 여러 검토자가 필요하다고 가정하지 않고도 인계 기록에 두 역할을 명시할 수 있습니다.

혼자 일하는 크리에이터라면 메모 하나에 같은 구분을 담을 수 있습니다. 무엇을 관찰했고 어떤 맥락을 확인했으며 무엇을 결정했는지 적으세요. 한 사람이 여러 단계를 맡더라도 각 목적은 명확히 구분할 수 있습니다. 이 데이터셋은 인력을 늘리거나 검토 단계를 추가하면 결과가 좋아진다고 보여 주지 않습니다.

서로 다른 관찰은 관계를 이해할 때까지 구분해 두세요. 선택이 다르다고 서로 모순되는 설명인 것은 아니며, 주목한 부분이 달랐을 수 있습니다. 인용·전달 선택만으로 정책 적용에서 자동으로 제외되는 것은 아니고, 수신자 대상 공격 선택도 연구로 검증된 삭제 권고는 아닙니다. 다음 행동은 과거 자료의 비중에서 추정하기보다 실제 대화와 계정 규칙의 근거에 따라 정해야 합니다.

복사해 쓸 수 있는 댓글 검토 점검표

이 항목들을 기존 검토 문서나 인계 기록에 복사하세요. 대화에 맞는 접근 범위 안에서 팀에 필요한 정보만 사용하세요. 가입 없이 여기서 점검표를 이용할 수 있습니다. 연구에서 관찰한 절차가 아니라 실무 안내입니다.[8]

사례: [링크 또는 내부 참조.] 계정/채널: [대화가 있는 곳.] 확인 일시: [날짜와 시간.] 다음 담당자가 같은 자료를 찾을 수 있도록 참조를 일정하게 유지하세요.

목적: [결정이 필요한 질문은 무엇인가요?] 책임자: [누가 결정하나요?] 다음 담당자: [인계가 필요하다면 누구에게 하나요?]

제시된 글: [팀이 사용하도록 승인된 작업 공간에 보관한 검토 대상 구절.] 주변 맥락: [관련 있는 앞뒤 답글.] 부족한 맥락: [확인하지 못한 내용.]

검토자: [이름 또는 내부 검토자 참조.] 판단 일시: [날짜와 시간.] 여러 사람이 같은 라벨을 쓰더라도 각 사람의 기록은 따로 남기세요.

인용·전달 여부: [예, 아니요 또는 불분명.] 근거: [다른 사람의 공격을 인용하거나 전달하는 것으로 보이는 구절은 어디인가요?] 이 항목을 무해함에 대한 판단으로 사용하지 마세요.

수신자 대상 공격 여부: [예, 아니요 또는 불분명.] 근거: [어느 구절이 수신자를 향한 것으로 보이며, 그 이유는 무엇인가요?] 인용·전달에 대한 관찰과 별개로 답하세요.

기타 관련 관찰: [계정 정책에 따라 고려해야 할 다른 문제.] 연구의 두 라벨 중 하나가 없다는 사실만으로 대화 전체가 설명된다고 보지 마세요.

검토 간 관계: [한 사람이 두 항목을 모두 선택함, 서로 다른 사람이 다른 항목을 선택함, 또는 불분명.] 검토자의 선택이 다르다면 사례를 요약하기 전에 각자의 메모를 보존하세요.

정책 근거: [적용할 규칙 또는 지침.] 결정: [실제로 선택한 조치 또는 아직 해결되지 않은 질문.] 이유: [관찰과 맥락이 그 결정을 어떻게 뒷받침하나요?]

후속 조치: [필요하다면 누가 다음에 무엇을 하나요?] 인계 시각: [언제 그 사람에게 넘어가나요?] 결과: [확인했다면 결정 후 실제로 일어난 일.] 하려고 한 행동을 완료로 표시하지 마세요.

다시 검토할 때: [재확인이 필요하다면 특정 사건이나 부족한 맥락.] 모든 사례를 반복 검토하라는 점검표는 아닙니다. 상황에 맞는 이유가 있을 때 다시 살펴보세요.

연도 확인 뒤에도 같은 발췌문 155개가 남았습니다

라벨의 선택 관계를 계산하기 전에 보조 확인 2가지를 정했습니다. 첫 번째는 2016년 발췌문을 제외하는 것이었습니다. 공개 파일의 연도 범위가 출처 개요와 원 논문에 쓰인 기간보다 넓었기 때문입니다. 그 결과 조건에 맞는 무작위 표본 발췌문은 13,809개가 되었습니다. 두 라벨이 모두 나타난 발췌문은 같은 155개였고, 98/57의 구분도 같았습니다.[5]

다른 확인에서는 차단 사건 주변에서 별도로 뽑은 자료를 사용했습니다. 응답이 정확히 10개인 같은 조건을 적용하니 발췌문이 42,383개였습니다. 응답 어딘가에 두 라벨이 모두 있는 2,457개 중 1,354개에는 같은 검토자의 공동 선택이 있었고, 1,103개에는 서로 다른 사람의 선택만 있었습니다. 각각 55.1%와 44.9%입니다.

차단 사건 자료를 보강한 집단은 표본 추출 목적이 다르므로 따로 유지했습니다. 이 비중은 주요 결과를 대신하지 않으며 현재 브랜드 댓글에 관한 근거도 아닙니다. 연도 확인은 기록된 기간 차이를 살펴본 것입니다. 어느 확인도 선택된 과거 발췌문에 대한 주관적 판단이라는 해석상의 한계를 없애 주지 않습니다.

사전에 정한 확인 2가지의 비교 결과

모든 행은 발췌문마다 정확히 10개의 완전한 응답을 사용합니다. 차단 사건 자료를 보강한 표본은 추출 목적이 다릅니다. 2016년 제외는 공개 파일의 연도 범위와 출처 설명의 차이를 살펴보기 위한 것입니다.

주요 비교와 보조 비교 2개의 분석 대상, 조건부 분모, 동일 검토자 공동 선택 수, 서로 다른 검토자만의 선택 수와 그 조건부 백분율
미리 정한 비교조건에 맞는 발췌문 수응답 어딘가에 두 라벨이 모두 있는 발췌문 수동일 검토자의 공동 선택 있음서로 다른 검토자에게서만 나옴두 라벨이 있는 발췌문 중 서로 다른 검토자에게서만 나온 비중
무작위 표본, 응답 정확히 10개13,824155985736.8%
차단 사건 자료를 보강한 표본(별도)42,3832,4571,3541,10344.9%
2016년을 제외한 무작위 표본13,809155985736.8%
주요 비교와 연도 제외 비교는 모두 조건부 발췌문 155개가 98/57로 나뉘며, 서로 다른 검토자에게서만 나온 비중은 36.8%입니다. 별도의 차단 사건 자료 보강 비교는 2,457개가 1,354/1,103으로 나뉘어 44.9%입니다. 표본을 합치지 않았으며, 모집단이나 인과관계를 비교한 추정치도 아닙니다.[5]

라벨을 개별 검토 응답까지 추적한 방법

Wikipedia Detox 프로젝트가 공개한 데이터셋 『Wikipedia Talk Labels: Personal Attacks』의 버전 6을 사용했습니다. 공개 파일에는 과거 토론 페이지 수정에서 나온 글과 발췌문마다 여러 크라우드소싱 검토자가 내린 판단이 들어 있습니다. 이번 분석은 개별 응답을 사용했으며, 새 판단을 만들거나 콘텐츠 검토 시스템을 평가하지 않았습니다.[1][2]

주요 비교는 공개 자료의 무작위 표본 집단에서 시작해, 서로 다른 사람의 완전한 검토 응답이 정확히 10개인 발췌문만 남겼습니다. 응답 수를 10개로 맞춰 각 발췌문이 공동 선택을 받을 기회 수를 같게 했습니다. 동시에 공개된 무작위 표본 37,492개 중 13,824개만 선택한 것이므로, 그 전체 집단을 설명하는 결과는 아닙니다.[3]

선택된 발췌문은 각각 1개로 셌습니다. 검토 응답 어딘가에 각 라벨이 나타났는지 확인한 뒤, 같은 발췌문에 대한 한 사람의 응답에 둘 다 있는지 살펴봤습니다. 5개 범주는 서로 겹치지 않으며 합계는 13,824개입니다. 분모 155개는 두 라벨이 모두 있는 2개 범주에서 나오며, 전체 판단 수나 원자료의 모든 발췌문 수가 아닙니다.[4]

공동 선택을 보기 전에 표본 집단, 응답 수 조건, 연도 확인과 주요 조건부 비교에 필요한 발췌문 수의 하한 100개를 정했습니다. 관측된 155개는 그 조건을 충족했습니다. 특정 비중을 요구하거나 유리한 결과가 나오도록 규칙을 바꾸지 않았고, 차단 사건 자료를 무작위 집단에 합치지도 않았습니다.

원 연구도 이미 개별 판단을 사용했고, 후속 연구는 공격 유형별 항목을 각각 다수결로 집계했습니다. 이번 연구의 더 좁은 기여는 고정된 응답 집합 안에서 두 항목을 누가 선택했는지 보여 주는 현황 비교입니다. 기존 연구 방법의 오류를 바로잡는 연구는 아닙니다. 다운로드에는 별도로 구할 수 있는 공개 원자료를 이용한 집계 결과, 방법, 재현 안내가 들어 있습니다.[6][7]

다음 검토자가 과정을 따라가기 쉽게 하세요

소셜 미디어 댓글 검토를 인계할 때는 누가 각 관찰을 했고 무엇을 설명했는지가 중요합니다. 이번에 선택한 과거 자료에서는 두 라벨이 모두 나타난 발췌문 155개 중 57개에 두 라벨을 함께 선택한 개별 검토자가 없었습니다. 라벨 이름 두 개만 있는 요약에서는 이 관계가 사라집니다.

각 사람의 관찰, 관련 맥락, 최종 결정을 연결해 남기세요. 그러면 기업이나 크리에이터는 라벨 하나로 전체 검토를 대신하려 하지 않고도, 사례에 무엇이 있으며 왜 그 조치를 택했는지 설명할 수 있습니다.

가입할 필요가 없습니다. 패키지에는 익명 집계 결과, 방법, 재현 안내, 재사용 가능한 점검표가 들어 있습니다. 원래 토론 글, 수정 ID, 작업자 ID, 인구통계 정보는 포함하지 않습니다. 공개 원자료 파일은 연결된 공개 자료에서 별도로 구할 수 있습니다.

출처와 주석

  1. 출처: 『Wikipedia Talk Labels: Personal Attacks』, Figshare 버전 6, DOI 10.6084/m9.figshare.4054689.v6. 2017년 2월에 CC0으로 공개됐습니다. attack_annotated_comments.tsv(파일 7554634)와 attack_annotations.tsv(파일 7554637)를 사용했으며, 자료 생산자의 MD5와 독립적으로 계산한 SHA-256을 확인했습니다. Influence IQ는 선택·계산·해석을 2026년 10월 25일(UTC)에 완료했습니다. 새 댓글을 수집하거나 새 주석을 만들거나 현재 운영 중인 소셜 플랫폼을 측정한 연구는 아닙니다.
  2. 자료 생산자는 quoting_attack을 다른 댓글의 공격을 인용·전달한다고 작업자가 판단한 경우로, recipient_attack을 수신자를 향한 공격으로 정의합니다. 화면에서는 복수 선택이 가능했습니다. 일반 공격은 원자료의 별도 응답이며, 이번 분석에서 하위 유형의 OR 연산으로 재구성하지 않았습니다. 공개 텍스트는 한 수정에서 추가된 내용을 이어 붙인 것으로, 수정 요약도 아니고 반드시 하나의 완전한 게시물이나 대화 전체인 것도 아닙니다. 토론 이름공간, 표본 집단, 모델의 train/dev/test 분할은 문서에 정의된 의미를 그대로 유지했습니다.
  3. 전체 파일에는 고유 발췌문 115,864개, 고유한 수정/작업자 판단 쌍 1,365,217개, 작업자 4,053명이 있었습니다. 구조 점검에서 중복 쌍, 연결 대상이 없는 기록, 잘못된 형식의 행, 누락되거나 잘못된 플래그 값은 발견되지 않았습니다. 원자료 플래그 5개가 모두 완전한 서로 다른 검토자의 응답이 정확히 10개여야 했으며, 문서화된 두 토론 이름공간과 모든 모델 분할을 포함했습니다. 발췌문마다 같은 가중치로 1개씩 셌습니다. 주요 무작위 집단은 37,492개 중 13,824개, 별도로 고른 차단 사건 자료 보강 집단은 78,372개 중 42,383개를 남겼습니다. 같은 작업자가 다른 발췌문에 다시 나타나는 것은 허용했습니다. 같은 텍스트를 합치거나, 플래그 간 불일치를 이유로 삭제하거나, 일반 공격 응답을 다시 부호화하지 않았습니다.
  4. 대상 발췌문에서 인용·전달 선택이 있으면 Q, 수신자 대상 선택이 있으면 R로 나타냅니다. 두 라벨의 존재는 응답 10개 어딘가에 Q와 R이 각각 적어도 1개 있는 경우입니다. 동일 검토자 공동 선택은 여기에 더해 하나의 수정/작업자 응답 안에 Q와 R이 함께 있어야 합니다. 서로 다른 검토자에게서만 나온 경우에는 그런 응답이 없습니다. 주요 조건부 분모는 98 + 57 = 155입니다. 정확한 분수 98/155와 57/155를 63.2%, 36.8%로 표시했습니다. 백분율은 정확한 분수로 계산하고, 소수점 아래 1자리로 반올림하되 절반 값은 올렸습니다. 공동 선택을 계산하기 전에 주요 조건부 비교에서 두 라벨이 있는 발췌문이 최소 100개여야 한다고 정했으며, 유리한 비중의 기준은 두지 않았습니다. 모집단 신뢰구간, 유의성 검정, 독립성 주장, 정확도 추정은 제시하지 않았습니다.
  5. 사전에 정한 차단 사건 자료 보강 표본의 보조 비교에도 정확히 10개 응답이라는 조건을 적용하고 주요 무작위 표본과 분리했습니다. 5개 범주의 수는 두 라벨 모두 없음 20,911개, 수신자 대상 없이 인용·전달만 있음 959개, 인용·전달 없이 수신자 대상만 있음 18,056개, 동일 검토자 공동 선택 1,354개, 서로 다른 검토자에게서만 나온 공동 라벨 1,103개였습니다. 합계는 42,383개, 조건부 분모는 2,457개입니다. 주요 무작위 표본에서 2016년을 제외하면 13,809개가 남고, 같은 순서의 5개 수는 12,012 / 406 / 1,236 / 98 / 57입니다. 조건부 발췌문 155개와 98/57 구분은 변하지 않았습니다. 이는 현황을 확인하는 비교이며, 독립적인 모집단 재현이나 표본 집단의 비교 가능성을 입증하는 결과는 아닙니다.
  6. Wulczyn, Thain, Dixon은 2017년 논문 『Ex Machina: Personal Attacks Seen at Scale』에서 기반이 되는 크라우드소싱·모델링 연구를 제시했습니다. Cécillon과 동료들의 2020년 WAC 논문은 작업자별·항목별 행렬을 남기고 공격 항목을 각각 다수결로 집계했습니다. 이는 기존 방법이며, 이번 연구가 오류라고 입증한 것이 아닙니다. 이번 비교는 10명 중 누구든 선택한 라벨의 존재와 같은 응답 안의 공동 선택을 사용하며, 다수결 라벨의 성능을 평가하지 않습니다. Influence IQ는 선택된 각 발췌문에서 두 항목이 같은 검토자에게서 나왔는지, 서로 다른 검토자에게서만 나왔는지를 셌습니다.
  7. 출처 개요의 기간은 2001–2015년, 원 논문은 2004–2015년이지만 고정한 버전 6 파일에는 2001–2016년 값이 들어 있습니다. 생산자의 로그인 여부 스키마에는 0/1이 쓰여 있지만 공개 파일은 False/True를 사용하고, 이진 플래그 문자열은 0.0/1.0입니다. 문서와 관측값의 차이는 원인을 추정하지 않고 그대로 보존했습니다. 파서는 라벨 값을 반올림하거나 강제 변환하지 않고, 공개된 정확한 표기만 받아들입니다. 패키지에는 출처 버전, 선택 규칙, 공개 파일에서 분석을 재현하는 절차가 설명되어 있습니다.
  8. 10명씩인 검토 집단 2개와 검토자 A/B의 응답, 인계 방식은 교육용 가상 예시입니다. 데이터셋의 원래 토론 글이나 식별자는 포함하지 않습니다. 두 집단 모두 인용·전달 선택 1건과 수신자 대상 선택 1건이 있지만, 같은 사람이 둘 다 고른 경우는 첫 집단에만 있습니다. 점검표와 개념도는 실무 설명이며, 원자료에서 관찰한 업무 과정이나 시험을 거친 댓글 관리 정책, 더 나은 결정을 보장하는 수단은 아닙니다.

모든 언어판은 영어 원문에서 직접 번역했습니다. 어느 언어판이든 같은 과거 영어 Wikipedia 데이터셋과 선택된 검토 응답을 설명합니다. 번역이 각 지역 시장의 연구 결과를 새로 만드는 것은 아닙니다. 분석·해석·번역의 책임은 Influence IQ에 있습니다.

인계 담당자와 지침을 함께 계획하세요