2 nhãn kiểm duyệt có thể do những người đánh giá khác nhau chọn
Bản bàn giao để xem xét bình luận có thể ghi 2 nhãn mà không cho biết ai đã chọn. Những nhận định trong dữ liệu Wikipedia trước đây cho thấy vì sao chi tiết bị thiếu này quan trọng với người xem xét tiếp theo.
Phân tích gốc của Influence IQ về các nhận định được chọn trong bộ dữ liệu công kích cá nhân Wikipedia Detox trước đây. Phân tích hoàn tất ngày 25 tháng 10 năm 2026 (UTC).
Tóm tắt
Trong 13.824 đoạn trích thảo luận Wikipedia được chọn từ dữ liệu lịch sử, 155 đoạn có cả nhãn trích dẫn/thuật lại và nhãn công kích nhắm vào người nhận ở đâu đó trong 10 nhận định riêng lẻ. Ở 98 trong số 155 đoạn này, ít nhất 1 người đánh giá chọn cả 2 nhãn. Với 57 đoạn còn lại, tức 36,8%, các nhãn chỉ do những người đánh giá khác nhau chọn. Tỷ lệ này mô tả 155 đoạn đó, không phải toàn bộ 13.824 đoạn.[1][4]
Với doanh nghiệp và nhà sáng tạo nội dung quản lý bình luận trên mạng xã hội, bài học thực tế nằm ở việc bàn giao: giữ các quan sát của từng người đánh giá gắn với nhận định của chính người đó. Có 2 nhãn cùng xuất hiện không chứng minh rằng 1 người đã chọn cả 2. Nghiên cứu mô tả những nhận định chủ quan về các đoạn trích thảo luận trước đây, không phải lỗi kiểm duyệt hay quy tắc để xóa bình luận. Biểu mẫu có thể sao chép bên dưới giúp ghi lại sự phân biệt này trong quá trình xem xét.
Hãy hình dung một nhà sáng tạo nội dung nhờ đồng nghiệp xem một bình luận khó xử lý. Bản bàn giao ghi 2 nhãn: có người đang trích dẫn hoặc thuật lại lời công kích, và có người đang công kích người nhận. Trước khi quyết định cách xử lý, đồng nghiệp cần biết thêm: có phải cùng 1 người đánh giá đã đưa ra cả 2 quan sát không?
Bản tóm tắt có thể làm mất sự khác biệt này. Có thể 1 người đã chọn cả 2 phương án, hoặc 2 người chú ý đến những khía cạnh khác nhau của cùng văn bản. Chỉ một danh sách nhãn không cho người đánh giá tiếp theo biết trường hợp nào đã xảy ra. Danh sách đó cũng có thể không làm rõ từng người đang nói đến những từ nào.
Chúng tôi đã tìm hiểu câu hỏi này bằng các nhận định riêng lẻ trong một bộ dữ liệu nghiên cứu đã có. Tài liệu gốc lấy từ các trang thảo luận Wikipedia. Ở đây, dữ liệu giúp làm rõ mối liên hệ giữa nhãn và người đánh giá, từ đó giúp doanh nghiệp hoặc nhà sáng tạo nội dung cân nhắc thông tin cần giữ khi bàn giao công việc của mình.
Gắn từng quan sát với đúng người đánh giá

Bắt đầu từ ý nghĩa thực sự của từng nhãn
Phương án thứ 1 hỏi liệu văn bản có trích dẫn hoặc thuật lại lời công kích cá nhân xuất phát từ bình luận khác hay không. Phương án thứ 2 nói về lời công kích cá nhân nhắm vào người nhận. Người đánh giá có thể chọn nhiều phương án. Đây là nhận định về văn bản được đưa ra, không phải quyết định ẩn nội dung hay bằng chứng cho thấy đã có vi phạm chính sách.[2]
Chúng tôi coi một nhãn là có mặt khi ít nhất 1 trong 10 người đánh giá chọn nhãn đó. Đây là phép so sánh dựa trên việc có bất kỳ người nào chọn. Chúng tôi không yêu cầu đa số, không gọi các nhãn là đồng thuận và không kiểm tra xem chúng có đúng hay không.
Trong 13.824 đoạn trích được chọn, 12.025 đoạn không có nhãn nào trong 2 nhãn này. Có 406 đoạn mang nhãn trích dẫn/thuật lại nhưng không có nhãn nhắm vào người nhận, còn 1.238 đoạn mang nhãn nhắm vào người nhận nhưng không có nhãn trích dẫn/thuật lại. Như vậy, còn 155 đoạn có cả 2 nhãn ở đâu đó trong các nhận định.
Các mô tả trên chỉ liên quan đến 2 phương án này. Một đoạn trích không có nhãn công kích nhắm vào người nhận vẫn có thể mang nhãn công kích loại khác. Nhãn trích dẫn/thuật lại không xác nhận nội dung vô hại. Gọi đúng tên nhãn giúp tránh âm thầm biến một nhóm phân loại hữu ích thành kết luận rộng hơn.
Cách 13.824 đoạn trích được chọn nhận nhãn
Một nhãn được tính là có mặt nếu ít nhất 1 trong 10 người đánh giá chọn nó. 5 nhóm này chỉ xét 2 phương án cụ thể; “không có nhãn nào” không có nghĩa đoạn trích không mang bất kỳ loại nhãn công kích nào.
| Nhãn trích dẫn/thuật lại và nhãn nhắm vào người nhận | Đoạn trích |
|---|---|
| Không có nhãn nào trong 2 nhãn này | 12.025 |
| Trích dẫn/thuật lại, không nhắm vào người nhận | 406 |
| Nhắm vào người nhận, không trích dẫn/thuật lại | 1.238 |
| Cả 2 nhãn, có ít nhất 1 người chọn cả 2 | 98 |
| Cả 2 nhãn, chỉ do những người đánh giá khác nhau chọn | 57 |
57 đoạn trích có cả 2 nhãn, nhưng không người đánh giá nào chọn cả 2
Trong 155 đoạn trích đó, chúng tôi kiểm tra phản hồi riêng lẻ đằng sau từng nhãn. Ở 98 đoạn, ít nhất 1 người chọn cả 2 phương án cho cùng đoạn trích. Ở 57 đoạn, lựa chọn trích dẫn/thuật lại và lựa chọn nhắm vào người nhận chỉ đến từ những người khác nhau. Không phản hồi riêng lẻ nào trong 57 đoạn này chứa cặp lựa chọn đó.
Tỷ lệ tương ứng là 63,2% có cặp nhãn do cùng người đánh giá chọn và 36,8% có các nhãn chỉ do những người khác nhau chọn. Cả 2 đều thuộc cùng tập hẹp gồm 155 đoạn trích. Khung 13.824 đoạn trích lớn hơn vẫn quan trọng vì cho biết phép so sánh có điều kiện này bắt đầu từ đâu.[4]
Sự phân biệt này quyết định điều có thể khẳng định từ bản tổng hợp. Biết cả 2 nhãn xuất hiện cho phép nói rằng mỗi nhãn đã được chọn ở đâu đó trong tập đánh giá. Chỉ riêng điều đó không đủ để nói rằng 1 người đã mô tả văn bản theo cả 2 cách.
Ngay cả khi cùng 1 người chọn cả 2 nhãn, điều đó vẫn chưa xác định ý nghĩa của từ ngữ. Đoạn trích nguồn có thể gộp các phần được thêm trong 1 lần sửa đổi Wikipedia, gồm cả hơn 1 bài đăng. Việc 1 người chọn cả 2 không cho thấy chính đoạn được trích dẫn là lời công kích nhắm vào người nhận. Chúng tôi không xem từng đoạn trích để giải thích các nhận định.[2][6]
57 trong 155 đoạn trích không có cặp nhãn do cùng người chọn
So sánh này chỉ gồm 155 đoạn trích được chọn có cả 2 nhãn ở đâu đó trong 10 nhận định của từng đoạn. Phân tích dùng lựa chọn của bất kỳ người đánh giá nào, không dùng đồng thuận đa số hay kết quả kiểm duyệt đã được xác minh.
| Ai đưa ra 2 nhãn | Đoạn trích | Tỷ lệ trong 155 đoạn trích |
|---|---|---|
| Ít nhất 1 người đánh giá chọn cả 2 | 98 | 63,2% |
| Các nhãn chỉ đến từ những người đánh giá khác nhau | 57 | 36,8% |
Cho người đánh giá tiếp theo biết quan sát đằng sau nhãn
Trong doanh nghiệp, việc bàn giao có thể chuyển từ người theo dõi bình luận sang người phụ trách tài khoản. Với nhà sáng tạo nội dung, đó có thể là từ trợ lý sang chính nhà sáng tạo. Người tiếp nhận cần hiểu điều đã được nhận thấy trước khi quyết định trả lời, tìm thêm bối cảnh hay áp dụng chính sách sẵn có của tài khoản.
Giữ các lựa chọn của từng người cùng nhau. Nếu 1 người chọn cả 2 phương án, hãy lưu cặp đó như nhận định của họ. Nếu 2 người chọn các phương án khác nhau, giữ riêng từng phản hồi. Một trường hợp có thể chứa nhiều cách hiểu mà không cần ghép thành nhận định chưa ai thực sự đưa ra.
Sau đó, thêm lời giải thích ngắn về phần văn bản liên quan. Trong quy trình của mình, hãy xác định nội dung nào có vẻ là trích dẫn, ai có vẻ được nhắm đến và phản hồi xung quanh nào giúp hiểu cuộc trao đổi. Ghi rõ điều chưa chắc chắn khi bối cảnh hiện có không trả lời được câu hỏi. Đây là gợi ý thực hành; bộ dữ liệu không kiểm tra tác động của chúng lên quyết định.
Một ghi chú ngắn có thể đủ. Mục đích là giúp người tiếp nhận theo được lập luận ban đầu mà không phải dựng lại toàn bộ việc đánh giá. Với nhóm chuyển trường hợp giữa các ca hoặc giữa thương hiệu và nhà sáng tạo nội dung, điều đó nghĩa là bàn giao cả quan sát gốc lẫn nhóm phân loại gắn với nó.
Ví dụ giả định có tổng lượt chọn nhãn giống nhau
Xét 2 nhóm đánh giá giả định, mỗi nhóm gồm 10 người đánh giá 1 đoạn trích hư cấu. Các nhóm minh họa phép tính, không phải người thật, trích dẫn thật hay trường hợp từ bộ dữ liệu. Cả 2 bản tổng hợp đều có 1 lượt chọn trích dẫn/thuật lại và 1 lượt chọn nhắm vào người nhận.[8]
Ở nhóm thứ 1, Người đánh giá A chọn cả 2 phương án. 9 người còn lại không chọn phương án nào trong 2 phương án này. Có 1 người có phản hồi chứa cặp lựa chọn. Bản bàn giao có thể giữ đúng nhận định kết hợp của người đó, còn hành động cuối cùng là quyết định riêng.
Ở nhóm thứ 2, Người đánh giá A chọn trích dẫn/thuật lại, còn Người đánh giá B chọn công kích nhắm vào người nhận. 8 người còn lại không chọn phương án nào. Tổng của từng trường vẫn là 1 và 1, nhưng không ai chọn cả 2. Gọi đây là nhận định kết hợp của 1 người sẽ thêm mối liên hệ không có trong các phản hồi riêng lẻ.
Ví dụ này cũng giải thích vì sao chúng tôi đếm đoạn trích thay vì cộng tất cả những người có phản hồi phù hợp. Nếu có 2 người ở nhóm thứ 1 cùng chọn cả 2 nhãn, đoạn trích vẫn chỉ được tính 1 lần vào nhóm cùng người đánh giá. Phân loại xét xem cặp lựa chọn đó có tồn tại hay không, không xét bao nhiêu người đã đưa ra cặp ấy.
Với nhóm thứ 2, ghi chú bàn giao giả định có thể viết: “Chưa quyết định cách xử lý. Người đánh giá A nhận thấy trích dẫn/thuật lại; Người đánh giá B nhận thấy ngôn từ nhắm vào người nhận. Giữ cả 2 ghi chú cùng đoạn trích và phản hồi trước đó. Người phụ trách tài khoản sẽ kiểm tra từng người đang nói đến phần nào trước khi chọn hành động.” Ghi chú chuyển tiếp câu hỏi còn bỏ ngỏ mà không biến phản hồi của 2 người thành kết luận của 1 người.
Khi bàn giao thực tế, hãy giữ 2 ghi chú riêng như ở nhóm thứ 2. Người đánh giá tiếp theo có thể đọc cùng văn bản, hỏi rõ ý từng người và quyết định theo chính sách của tài khoản. Nghiên cứu không xác định ai trong 2 người đúng hay cần áp dụng hành động nào cho trường hợp hư cấu đó.
Cùng tổng lượt chọn nhãn có thể xuất phát từ những cách đánh giá khác nhau

1 người đánh giá chọn cả 2
Nhóm giả định thứ 1 có 1 người chọn cả 2 nhãn và 9 người không chọn phương án nào trong 2 phương án này.
2 người đánh giá, mỗi người chọn 1 nhãn
Nhóm thứ 2 có 1 người chọn trích dẫn/thuật lại và 1 người khác chọn công kích nhắm vào người nhận. 8 người còn lại không chọn phương án nào.
Tách quyết định theo chính sách khỏi phần mô tả
Mô tả điều xuất hiện trong bình luận và quyết định cách xử lý có mục đích khác nhau. Người đánh giá có thể nhận thấy ngôn từ được trích dẫn, trong khi người phụ trách tài khoản vẫn cần cân nhắc cuộc trao đổi xung quanh và chính sách áp dụng. Giữ riêng các bước để người đọc sau thấy quyết định được đưa ra như thế nào.
Doanh nghiệp làm việc với nhà sáng tạo nội dung nên thống nhất người ra quyết định trước khi xuất hiện cuộc trao đổi khó xử lý. Người hiểu một phàn nàn về sản phẩm có thể không phải người có quyền thay đổi cách kiểm duyệt nội dung trên tài khoản. Bản bàn giao rõ ràng có thể nêu cả 2 vai trò mà không mặc định mọi trường hợp đều cần nhiều người đánh giá.
Với nhà sáng tạo nội dung làm việc một mình, có thể giữ sự phân biệt này trong 1 ghi chú: điều đã nhận thấy, bối cảnh đã kiểm tra và quyết định đã đưa ra. 1 người có thể thực hiện nhiều bước mà vẫn làm rõ mục đích của từng bước. Bộ dữ liệu không cho thấy tăng nhân sự hoặc thêm lớp đánh giá sẽ cải thiện kết quả.
Giữ các quan sát riêng biệt cho đến khi hiểu mối liên hệ giữa chúng. Các lựa chọn khác nhau có thể phản ánh trọng tâm chú ý khác nhau, chứ không phải lời kể mâu thuẫn. Chọn trích dẫn/thuật lại không tự động tạo ngoại lệ. Việc chọn nhãn nhắm vào người nhận không có nghĩa nghiên cứu này khuyến nghị xóa bình luận. Hành động tiếp theo hữu ích phải dựa vào cuộc trao đổi thực tế và quy định của tài khoản, không suy từ các tỷ lệ trong kho dữ liệu này.
Biểu mẫu xem xét bình luận có thể sao chép
Sao chép các trường sau vào tài liệu đánh giá hoặc bản bàn giao đang dùng. Chỉ sử dụng thông tin nhóm cần, với quyền truy cập phù hợp cho cuộc trò chuyện. Biểu mẫu được cung cấp ngay tại đây, không cần đăng ký; đây là hướng dẫn thực hành, không phải quy trình được quan sát trong nghiên cứu.[8]
Trường hợp: [Liên kết hoặc mã tham chiếu nội bộ.] Tài khoản/kênh: [Nơi diễn ra cuộc trao đổi.] Thời điểm kiểm tra: [Ngày giờ.] Giữ mã tham chiếu ổn định để người tiếp nhận tìm đúng tài liệu.
Mục đích: [Câu hỏi nào cần quyết định?] Người phụ trách: [Ai sẽ quyết định?] Người tiếp nhận: [Ai cần nhận bàn giao, nếu có?]
Văn bản được xem xét: [Đoạn đang được đánh giá, được lưu trong không gian làm việc đã được phép sử dụng.] Bối cảnh xung quanh: [Các phản hồi liên quan trước hoặc sau đó.] Bối cảnh còn thiếu: [Điều chưa kiểm tra được.]
Người đánh giá: [Tên hoặc mã tham chiếu người đánh giá trong nội bộ.] Thời điểm đánh giá: [Ngày giờ.] Giữ riêng mục ghi của từng người, kể cả khi nhiều người dùng cùng nhãn.
Quan sát về trích dẫn/thuật lại: [Có, không hoặc chưa rõ.] Căn cứ: [Phần nào có vẻ trích dẫn hoặc thuật lại lời công kích của người khác?] Không dùng trường này để quyết định nội dung vô hại.
Quan sát về nội dung nhắm vào người nhận: [Có, không hoặc chưa rõ.] Căn cứ: [Phần nào có vẻ nhắm vào người nhận, và vì sao?] Giữ câu trả lời này độc lập với quan sát về trích dẫn/thuật lại.
Quan sát liên quan khác: [Vấn đề khác cần cân nhắc theo chính sách của tài khoản.] Không xem việc thiếu 1 trong 2 nhãn của nghiên cứu là mô tả đầy đủ về cuộc trao đổi.
Mối liên hệ giữa các đánh giá: [1 người chọn cả 2, những người khác nhau chọn các phương án khác nhau, hoặc chưa rõ.] Nếu lựa chọn khác nhau, giữ ghi chú riêng của từng người trước khi tổng hợp trường hợp.
Tham chiếu chính sách: [Quy tắc hoặc hướng dẫn áp dụng.] Quyết định: [Hành động thực sự được chọn, hoặc câu hỏi chưa giải quyết.] Lý do: [Quan sát và bối cảnh hỗ trợ quyết định đó như thế nào?]
Theo dõi tiếp: [Ai làm gì tiếp theo, nếu cần?] Thời điểm bàn giao: [Khi nào chuyển cho người đó?] Kết quả: [Điều xảy ra sau quyết định, nếu đã kiểm tra.] Không đánh dấu hành động dự định làm là đã hoàn tất.
Xem xét lại khi: [Sự kiện cụ thể hoặc phần bối cảnh còn thiếu, nếu cần đánh giá thêm.] Biểu mẫu không yêu cầu xem đi xem lại mọi trường hợp; hãy chọn lý do phù hợp tình huống.
Kiểm tra theo năm vẫn giữ nguyên 155 đoạn trích
Trước khi tính việc ghép cặp nhãn, chúng tôi đã xác định 2 phép kiểm tra bổ trợ. Kiểm tra thứ 1 loại các đoạn trích có năm 2016 vì khoảng năm trong tệp phát hành vượt quá giai đoạn nêu ở tổng quan nguồn và bài báo gốc. Còn lại 13.809 đoạn trích thuộc mẫu ngẫu nhiên đủ điều kiện. Vẫn chính 155 đoạn có cả 2 nhãn, với phân chia 98/57 không đổi.[5]
Kiểm tra còn lại dùng phần tài liệu được lấy mẫu riêng quanh các thời điểm chặn trong bộ dữ liệu. Cùng quy tắc đúng 10 nhận định, nhóm này có 42.383 đoạn trích. Trong 2.457 đoạn có cả 2 nhãn ở đâu đó, 1.354 đoạn có cặp lựa chọn của cùng người đánh giá và 1.103 đoạn chỉ có các nhãn từ những người khác nhau: lần lượt 55,1% và 44,9%.
Nhóm lấy mẫu tập trung quanh các sự kiện chặn có mục đích khác, nên chúng tôi giữ riêng. Các tỷ lệ của nhóm này không thay thế kết quả chính và không phải bằng chứng về bình luận thương hiệu hiện nay. Kiểm tra theo năm xem xét phạm vi ngày được ghi. Dù có cả 2 phép kiểm tra này, các kết quả vẫn phản ánh những nhận định chủ quan về các đoạn trích lịch sử được chọn.
Kết quả của 2 phép kiểm tra được chọn trước
Mỗi hàng dùng đúng 10 nhận định đầy đủ cho mỗi đoạn trích. Mẫu tập trung quanh sự kiện chặn có mục đích lấy mẫu riêng. Loại năm 2016 là để xem xét khác biệt giữa khoảng năm trong tệp phát hành và mô tả nguồn.
| So sánh được chọn trước | Đoạn trích đủ điều kiện | Đoạn trích có cả 2 nhãn trong tập nhận định | Có cặp nhãn do cùng người chọn | Chỉ những người khác nhau chọn | Tỷ lệ chỉ khác người chọn trong các đoạn có cả 2 nhãn |
|---|---|---|---|---|---|
| Mẫu ngẫu nhiên, đúng 10 nhận định | 13.824 | 155 | 98 | 57 | 36,8% |
| Mẫu tập trung quanh sự kiện chặn, giữ riêng | 42.383 | 2.457 | 1.354 | 1.103 | 44,9% |
| Mẫu ngẫu nhiên không gồm năm 2016 | 13.809 | 155 | 98 | 57 | 36,8% |
Cách chúng tôi lần từ nhãn về từng nhận định
Chúng tôi đã dùng phiên bản 6 của Wikipedia Talk Labels: Personal Attacks, bộ dữ liệu công khai từ dự án Wikipedia Detox. Các tệp phát hành chứa văn bản lấy từ những lần sửa đổi trang thảo luận trước đây và nhiều nhận định của người tham gia đánh giá theo hình thức huy động đám đông cho mỗi đoạn trích. Phân tích này dùng phản hồi riêng lẻ; không tạo nhận định mới hay đánh giá hệ thống kiểm duyệt.[1][2]
So sánh chính bắt đầu từ nhóm mẫu ngẫu nhiên của bản phát hành và giữ các đoạn trích có đúng 10 nhận định riêng biệt, đầy đủ. Cố định ở 10 giúp mỗi đoạn có cùng số cơ hội nhận cặp lựa chọn. Điều kiện này cũng chỉ chọn 13.824 trong 37.492 đoạn của mẫu ngẫu nhiên được công bố, nên kết quả không mô tả toàn bộ nhóm.[3]
Mỗi đoạn trích được chọn đóng góp 1 lượt đếm. Chúng tôi kiểm tra từng nhãn có xuất hiện ở đâu đó hay không, rồi xem cả 2 có nằm trong phản hồi của cùng 1 người về chính đoạn trích đó không. 5 nhóm loại trừ lẫn nhau và cộng lại bằng 13.824. Mẫu số 155 lấy từ 2 nhóm có cả 2 nhãn, không phải từ toàn bộ nhận định hay mọi đoạn nguồn.[4]
Trước khi xem các cặp lựa chọn, chúng tôi đã cố định nhóm lấy mẫu, quy tắc bao phủ, kiểm tra theo năm và mức tối thiểu 100 đoạn trích cho so sánh có điều kiện chính. 155 đoạn quan sát được đáp ứng yêu cầu này. Chúng tôi không đặt tỷ lệ phải đạt, không đổi quy tắc để ưu tiên kết quả hay gộp tài liệu tập trung quanh sự kiện chặn với nhóm ngẫu nhiên.
Nghiên cứu gốc đã dùng nhận định riêng lẻ; các công trình sau tổng hợp từng trường công kích theo đa số. Đóng góp hẹp hơn của chúng tôi là so sánh mô tả ai đưa ra 2 lựa chọn trong một tập nhận định cố định. Đây không phải sửa phương pháp của các nghiên cứu đó. Bản tải xuống cung cấp kết quả tổng hợp, phương pháp và hướng dẫn tái lập bằng tệp nguồn công khai được cung cấp riêng.[6][7]
Giúp lần xem xét tiếp theo dễ theo dõi hơn
Câu hỏi hữu ích khi bàn giao kiểm duyệt trên mạng xã hội là ai đưa ra từng quan sát và họ đang mô tả điều gì. Trong phép so sánh kho dữ liệu được chọn này, 57 trong 155 đoạn có cả 2 nhãn không có người đánh giá nào chọn cặp nhãn. Bản tổng hợp chỉ ghi 2 tên nhãn sẽ làm mất mối liên hệ đó.
Giữ quan sát của người đánh giá, bối cảnh liên quan và quyết định cuối cùng gắn với nhau. Nhờ đó, doanh nghiệp hoặc nhà sáng tạo nội dung có thể giải thích trường hợp chứa gì và vì sao chọn hành động ấy, thay vì để một nhãn phân loại thay thế toàn bộ việc đánh giá.
Không cần đăng ký. Gói tải có kết quả tổng hợp ẩn danh, phương pháp, hướng dẫn tái lập và biểu mẫu dùng lại. Không có văn bản thảo luận gốc, mã bản sửa đổi, mã người đánh giá hay dữ liệu nhân khẩu học. Tệp nguồn công khai ban đầu được cung cấp riêng tại bản phát hành có liên kết.
Nguồn và chú thích
- Nguồn: Wikipedia Talk Labels: Personal Attacks, Figshare phiên bản 6, DOI 10.6084/m9.figshare.4054689.v6, phát hành tháng 2 năm 2017 theo CC0. Chúng tôi dùng attack_annotated_comments.tsv (tệp 7554634) và attack_annotations.tsv (tệp 7554637), đối chiếu MD5 của bên cung cấp và SHA-256 được tính độc lập. Influence IQ hoàn tất chọn dữ liệu, tính toán và diễn giải ngày 25 tháng 10 năm 2026 (UTC). Nghiên cứu không thu thập bình luận mới, tạo nhãn mới hay đo hoạt động của nền tảng mạng xã hội đang vận hành.
- Bên cung cấp định nghĩa quoting_attack là cảm nhận của người gán nhãn rằng nội dung trích dẫn/thuật lại lời công kích từ bình luận khác, còn recipient_attack là lời công kích nhắm vào người nhận. Giao diện cho phép chọn nhiều phương án. Đánh giá công kích chung là phản hồi nguồn riêng, không phải phép OR được dựng lại từ các loại con trong phân tích này. Văn bản phát hành nối các phần được thêm trong 1 lần sửa đổi; đó không phải tóm tắt sửa đổi, cũng không nhất thiết là 1 bài đăng trọn vẹn hay toàn bộ cuộc trò chuyện. Không gian tên thảo luận, nhóm lấy mẫu và các phần train/dev/test của mô hình giữ nguyên ý nghĩa được tài liệu nguồn nêu.
- Tệp đầy đủ có 115.864 đoạn trích duy nhất, 1.365.217 cặp nhận định duy nhất theo bản sửa đổi/người đánh giá và 4.053 người đánh giá. Kiểm tra cấu trúc không thấy cặp trùng, bản ghi không khớp khi nối dữ liệu, dòng sai định dạng hay giá trị cờ bị thiếu hoặc không hợp lệ. Điều kiện chọn là đúng 10 nhận định riêng biệt, đầy đủ trên cả 5 cờ nguồn, bao gồm cả 2 không gian tên thảo luận được mô tả và mọi phần chia mô hình; mỗi đoạn được đếm 1 lần với trọng số bằng nhau. Nhóm ngẫu nhiên chính giữ 13.824 trong 37.492 đoạn. Nhóm tập trung quanh sự kiện chặn được chọn riêng giữ 42.383 trong 78.372 đoạn. Một người đánh giá xuất hiện ở nhiều đoạn khác nhau là hợp lệ; không gộp các văn bản giống hệt, không xóa vì cho rằng các cờ thiếu nhất quán và không mã hóa lại công kích chung.
- Với đoạn trích đủ điều kiện, Q biểu thị có ít nhất 1 lựa chọn trích dẫn/thuật lại và R biểu thị có ít nhất 1 lựa chọn nhắm vào người nhận. Có cả 2 nhãn nghĩa là có ít nhất 1 Q và 1 R ở đâu đó trong 10 nhận định. Trường hợp cùng người chọn còn đòi hỏi Q và R nằm trong 1 phản hồi theo cặp bản sửa đổi/người đánh giá; trường hợp chỉ khác người chọn không có phản hồi như vậy. Mẫu số có điều kiện chính là 98 + 57 = 155; các phân số chính xác 98/155 và 57/155 được hiển thị là 63,2% và 36,8%. Tỷ lệ được tính bằng số hữu tỷ chính xác và làm tròn kiểu half-up tới 1 chữ số thập phân. Trước khi tính cặp nhãn, chúng tôi yêu cầu ít nhất 100 đoạn có cả 2 nhãn cho so sánh có điều kiện chính, không đặt ngưỡng tỷ lệ thuận lợi. Không đưa ra khoảng tin cậy cho tổng thể, kiểm định ý nghĩa thống kê, khẳng định tính độc lập hay ước lượng độ chính xác.
- Kiểm tra độ nhạy định trước với nhóm tập trung quanh sự kiện chặn dùng cùng quy tắc đúng 10 nhận định và được giữ riêng với nhóm ngẫu nhiên chính. 5 số đếm lần lượt là 20.911 đoạn không có nhãn nào trong các nhãn đang xét, 959 đoạn có nhãn trích dẫn/thuật lại nhưng không có nhãn nhắm vào người nhận, 18.056 đoạn có nhãn nhắm vào người nhận nhưng không có nhãn trích dẫn/thuật lại, 1.354 đoạn có cùng người chọn cả 2 và 1.103 đoạn có cả 2 nhãn nhưng không ai chọn cặp nhãn đó; tổng 42.383, mẫu số có điều kiện 2.457. Loại năm 2016 khỏi nhóm ngẫu nhiên chính còn 13.809 đoạn, với 5 số đếm theo cùng thứ tự là 12.012 / 406 / 1.236 / 98 / 57. 155 đoạn có điều kiện và phân chia 98/57 không đổi. Đây là kiểm tra mô tả, không phải lặp lại độc lập trên tổng thể hay bằng chứng cho thấy các nhóm mẫu có thể so sánh ngang nhau.
- Ex Machina: Personal Attacks Seen at Scale năm 2017 của Wulczyn, Thain và Dixon là công trình nền tảng về huy động người gán nhãn và mô hình hóa. Bài báo WAC năm 2020 của Cécillon cùng cộng sự giữ ma trận theo người đánh giá và trường, rồi tổng hợp riêng từng trường công kích theo đa số. Đó là phương pháp đã có, không phải lỗi được nghiên cứu này xác lập. So sánh của chúng tôi xét nhãn có được chọn trong ít nhất 1 trong 10 phản hồi hay không và cặp nhãn có nằm trong cùng phản hồi hay không, không đánh giá hiệu quả nhãn theo đa số. Influence IQ đếm xem 2 phương án đến từ cùng người đánh giá hay chỉ từ những người khác nhau trong mỗi đoạn trích được chọn.
- Tổng quan nguồn nêu giai đoạn 2001–2015, còn bài báo gốc nêu 2004–2015; tệp phiên bản 6 đã ghim có giá trị năm 2001–2016. Lược đồ trạng thái đăng nhập của bên cung cấp ghi 0/1, trong khi tệp phát hành dùng False/True; chuỗi cờ nhị phân là 0.0/1.0. Chúng tôi giữ nguyên các khác biệt giữa tài liệu và dữ liệu quan sát được mà không gán nguyên nhân. Bộ phân tích cú pháp nhận đúng các giá trị chữ được phát hành, không làm tròn hoặc ép giá trị nhãn. Gói tải ghi rõ phiên bản nguồn, quy tắc chọn và các bước tái lập phân tích từ tệp công khai.
- 2 nhóm đánh giá, mỗi nhóm 10 người, phản hồi của Người đánh giá A/B và lựa chọn bàn giao đều là ví dụ giảng giải hư cấu. Các ví dụ này không chứa văn bản thảo luận hay mã định danh gốc từ bộ dữ liệu. Cả 2 nhóm giả định đều có 1 lượt chọn trích dẫn/thuật lại và 1 lượt chọn nhắm vào người nhận, nhưng chỉ nhóm thứ 1 có cặp lựa chọn của cùng người. Biểu mẫu và hình minh họa khái niệm là cách giải thích thực hành, không phải quy trình nguồn đã được quan sát, chính sách kiểm duyệt đã thử nghiệm hay bảo đảm quyết định tốt hơn.
Mọi phiên bản ngôn ngữ đều được dịch trực tiếp từ bản nguồn tiếng Anh. Tất cả mô tả cùng bộ dữ liệu Wikipedia tiếng Anh trước đây và các nhận định đã chọn. Bản dịch không tạo kết quả về thị trường địa phương. Influence IQ chịu trách nhiệm về phân tích, diễn giải và bản dịch.