2つのラベルがあっても、同じ人が選んだとは限りません

最初の選択肢は、別のコメントにあった個人攻撃を、その文章が引用・報告しているかを尋ねていました。2つ目は、受け手に向けた個人攻撃についての選択肢です。レビュー担当者は複数選べました。これは提示された文章に対する評価であり、非表示にする判断でも、ポリシー違反の証拠でもありません。^[2]

10人のうち少なくとも1人が選べば、そのラベルがあると数えました。誰か1人でも選んだかどうかの比較です。過半数の選択は条件にせず、ラベルを合意と呼んだり、正しいかどうかを検証したりもしていません。

選んだ抜粋13,824件のうち、12,025件にはこの2種類のラベルがいずれもありませんでした。406件には引用・報告のラベルがあり、受け手への攻撃のラベルはありませんでした。逆に1,238件には受け手への攻撃のラベルがあり、引用・報告のラベルはありませんでした。残る155件では、評価のどこかに両方のラベルがありました。

これらの分類が扱うのは、この2つの選択肢だけです。受け手への攻撃のラベルがなくても、別の種類の攻撃のラベルがあるかもしれません。引用・報告のラベルも、無害だと認定するものではありません。名称の意味を正確に保つことで、便利な分類から、データが支えない広い結論へと話がすり替わるのを防げます。

155件について、各ラベルの元になった個別の回答を確認しました。98件では、同じ抜粋に対して少なくとも1人が両方の選択肢を選んでいました。57件では、引用・報告と受け手への攻撃を選んだのは、別々の人だけでした。この57件には、両方を含む個人の回答が1つもありませんでした。

同じ人による両方の選択がある割合は63.2%、別々の人だけが選んだ割合は36.8%でした。どちらも、条件を絞った同じ155件の中での割合です。13,824件という、より大きな対象枠も重要です。条件付きの比較がどこから始まったかを示すためです。^[4]

この違いによって、要約からいえることが変わります。両方のラベルがあると分かれば、それぞれが評価のどこかで選ばれたとはいえます。しかし、それだけでは、ある1人の担当者がその文章を両方の意味で捉えたとはいえません。

同じ人が両方を選んだ場合も、言葉の意味まで確定するわけではありません。元の抜粋は、Wikipediaの1回の改訂で追加された文章をまとめたもので、複数の投稿を含む可能性があります。1人が両方を選んでも、引用部分そのものが受け手への攻撃だったとは分かりません。今回は、評価の理由を説明するために個々の抜粋を読むことはしていません。^[2][6]

企業では、コメントを見ている人からアカウントの責任者へ引き継ぐことがあります。クリエイターなら、アシスタントから本人へ渡るかもしれません。次の人は、返信するか、背景をさらに調べるか、既存のアカウントの方針を適用するかを決める前に、担当者が何に気付いたのかを理解する必要があります。

各人が選んだ項目は、その人の回答としてまとめて残します。1人が両方を選んだら、その組み合わせをその人の評価として残します。2人が別々の項目を選んだら、回答を分けて残します。1つの案件に複数の読み方があっても構いません。誰も実際にはしていない評価にまとめる必要はありません。

さらに、該当箇所を短く説明します。自分たちの運用では、どこが引用に見えるか、誰に向けた言葉に見えるか、前後のどの返信がやり取りの理解に役立つかを記録するとよいでしょう。手元の文脈だけでは分からないことは、分からないまま残します。これは実務への提案であり、判断への効果をデータセットで検証したものではありません。

短いメモでも十分な場合があります。目的は、次の人が最初の人の考え方をたどれ、最初から確認し直さずに済むようにすることです。シフト間や、ブランドとクリエイターの間で案件を渡すチームなら、分類だけでなく、元の観察も一緒に引き継ぎます。

架空の抜粋1件を10人で評価する、2つの架空のグループを考えます。数え方を示すための例で、データセットにある実在の人物、引用、案件ではありません。どちらの要約も、引用・報告の選択が1件、受け手への攻撃の選択が1件になります。^[8]

最初のグループでは、レビュー担当者Aが両方を選びます。ほかの9人は、この2つの項目のどちらも選びません。両方を含む回答をした人が1人います。引き継ぎでは、その人が両方を選んだ評価を正確に残せます。最終的な対応は、別の判断として残しておきます。

2つ目のグループでは、担当者Aが引用・報告を、担当者Bが受け手への攻撃を選びます。残る8人は、どちらも選びません。項目ごとの合計は同じく1件ずつですが、両方を選んだ人はいません。これを1人が両方を選んだ評価と呼ぶと、個々の回答にはない関係を付け足すことになります。

この例は、該当する人数を足し上げずに、抜粋を数えた理由も示しています。最初のグループで2人がそれぞれ両方を選んでいても、その抜粋は同一人物による組み合わせがあるグループに1件として入ります。この分類が尋ねるのは、その組み合わせが存在したかどうかであり、何人が選んだかではありません。

2つ目のグループの短い架空の引き継ぎなら、こう書けます。「対応は未決定です。担当者Aは引用・報告を、担当者Bは受け手に向けた表現を指摘しました。両方のメモを、抜粋とその前の返信に添えて残します。アカウント責任者が、各担当者の指す箇所を確認してから対応を選びます。」まだ解けていない問いを渡しつつ、2人の回答を1人の結論へと書き換えずに済みます。

実際の引き継ぎでは、2つ目のグループのメモ2件を分けて残してください。次の担当者は文章と一緒に読み、各人が何を指したのかを確認し、アカウントの方針に沿って判断できます。本研究は、どちらの担当者が正しいか、この架空の案件にどの対応を選ぶべきかを示していません。

コメントに何が書かれているように見えるかの説明と、それにどう対応するかの判断は、目的が異なります。担当者が引用表現に気付いても、アカウント責任者は前後のやり取りや適用する方針を考える必要があるかもしれません。段階を分けて記録すれば、後から読む人にも、判断に至った道筋が分かります。

クリエイターと協業する企業は、難しいやり取りが起きる前に、誰が判断するかを決めておきましょう。製品への苦情を理解できる人と、アカウントのコメント管理方針を変える権限を持つ人が、同じとは限りません。引き継ぎでは両方の役割を明らかにできます。すべての案件に複数のレビュー担当者が必要だと考える必要はありません。

1人で活動するクリエイターなら、同じ区別を1つのメモに残せます。何に気付き、どの文脈を確認し、何を決めたかを分けて書きます。1人で複数の段階を担っても、各段階の目的は区別できます。人員や確認段階を増やすと結果が良くなることを、このデータセットが示しているわけではありません。

観察同士の関係が分かるまでは、それぞれを分けて残してください。選択の違いは、矛盾ではなく、注目した点の違いかもしれません。引用・報告を選んでも、自動的に適用除外になるわけではありません。受け手への攻撃の選択も、実測に基づく削除の推奨ではありません。次の対応は、この過去データの割合から推測するのではなく、実際のやり取りとアカウントのルールを根拠に決めます。

次の項目を、普段使っている確認文書や引き継ぎにコピーしてください。チームに必要な情報だけを使い、やり取りに適したアクセス権で管理します。登録なしで利用できます。このシートは実務向けの提案であり、研究で観察された手順ではありません。^[8]

案件：［リンクまたは社内参照番号。］アカウント・チャネル：［やり取りがある場所。］確認日時：［日付と時刻。］次の人が同じ資料を見つけられるよう、参照先を固定します。

目的：［判断が必要な問い。］責任者：［誰が決めるか。］次の担当者：［引き継ぎが必要なら、その相手。］

確認対象の文章：［承認済みのワークスペースに保存した、確認する箇所。］前後の文脈：［関係する前後の返信。］不足している文脈：［確認できなかったこと。］

レビュー担当者：［氏名または社内の担当者識別情報。］評価日時：［日付と時刻。］複数の人が同じラベルを使っても、各人の記録は分けます。

引用・報告に関する観察：［はい、いいえ、または不明。］根拠：［どの箇所が、他の人の攻撃を引用・報告しているように見えるか。］この項目を、無害かどうかの判断に使わないでください。

受け手への攻撃に関する観察：［はい、いいえ、または不明。］根拠：［どの箇所が受け手に向けられているように見えるか。その理由。］引用・報告に関する観察とは独立して答えます。

ほかに関係する観察：［アカウントの方針上、検討が必要なほかの問題。］研究で扱う2つのラベルのいずれかがないことを、やり取り全体の説明にしないでください。

評価同士の関係：［1人が両方を選んだ、別々の人が別の項目を選んだ、または不明。］担当者間で違いがあれば、案件を要約する前に個別のメモを残します。

方針の参照先：［適用するルールや指針。］判断：［実際に選んだ対応、または未解決の問い。］理由：［観察と文脈が、その判断をどう支えるか。］

次の対応：［必要なら、誰が何をするか。］引き継ぎ日時：［その人に渡す時点。］結果：［確認した場合、判断後に何が起きたか。］実行予定の対応を、完了済みと記録しないでください。

再確認の条件：［もう一度見る必要があるなら、具体的な出来事や不足している文脈。］すべての案件を繰り返し確認するシートではありません。状況に合う理由を設定します。

ラベルの組み合わせを計算する前に、2つの補足確認を決めました。1つ目では2016年の抜粋を除きました。公開ファイルの年の範囲が、データ概要と元の論文に記された期間を超えていたためです。条件を満たす無作為標本の抜粋は13,809件になりましたが、両方のラベルがある155件は変わらず、98/57という内訳も同じでした。^[5]

もう1つは、ブロックの発生前後から別に抽出された資料を使う確認です。同じ「評価がちょうど10件」の条件では、抜粋42,383件が該当しました。評価のどこかに両方のラベルがある2,457件のうち、1,354件には同じ人による両方の選択があり、1,103件は別々の人による選択だけでした。それぞれ55.1%、44.9%です。

ブロック前後の資料を多く含む標本は、抽出の目的が異なるため、別に扱いました。この割合を主結果と置き換えたり、現在のブランドへのコメントについての証拠にしたりはしません。年の確認は、記録された期間の違いを扱うものです。どちらの確認をしても、選んだ過去の抜粋に対する主観的評価として解釈する必要があります。

Wikipedia Detoxプロジェクトの公開データセット、Wikipedia Talk Labels: Personal Attacksのバージョン6を使いました。公開ファイルには、過去の議論ページの改訂から得た文章と、各抜粋に対する複数のクラウドワーカーの評価があります。今回使ったのは個別の回答です。新しい評価を作成したり、モデレーションシステムを評価したりしていません。^[1][2]

主比較は、公開データの無作為標本から、異なる10人による完全な評価がちょうど10件ある抜粋に絞りました。10件にそろえることで、どの抜粋も、両方を選ぶ回答が生じる機会の数を同じにしました。この条件で残ったのは、公開された無作為標本37,492件のうち13,824件です。そのため、結果は元の標本全体を表すものではありません。^[3]

選んだ抜粋は、それぞれ1件として数えました。各ラベルがどこかにあるかを確認し、次に、その抜粋に対する同じ人の回答に両方があるかを確認しました。5つの分類は重複せず、合計13,824件になります。155件という分母は、両方のラベルがある2つの分類から得ています。すべての評価や、元の抜粋全体を分母にしたものではありません。^[4]

組み合わせを見る前に、抽出群、評価の充足条件、年の確認、主たる条件付き比較に必要な最低件数100件を定めました。観察された155件は、この条件を満たしました。必要な割合を設定したり、結果に都合よく条件を変えたり、ブロック前後を多く含む資料を無作為群と統合したりはしていません。

元の研究でも個別の評価は使われており、後の研究では攻撃に関する各項目を多数決で集約しています。今回の限定的な貢献は、評価件数をそろえた中で、誰が2つの選択肢を選んだかを記述的に比較することです。先行研究の方法を訂正するものではありません。ダウンロードには、集計結果、方法、別途公開されている元ファイルを使った再現手順が入っています。^[6][7]

SNSのコメント管理を引き継ぐときに役立つ問いは、誰が何を指して観察したのか、というものです。今回選んだ過去データの比較では、両方のラベルがある155件のうち57件に、両方を選んだ個人の回答がありませんでした。2つのラベル名だけの要約では、この関係が失われます。

各人の観察、必要な文脈、最終的な判断を結び付けて残してください。企業やクリエイターは、案件に何が含まれ、なぜその対応を選んだのかを説明できます。確認全体の役割を、分類ラベルだけに担わせずに済みます。