Dos etiquetas de moderación pueden venir de revisores distintos

La primera opción preguntaba si el texto citaba o relataba un ataque personal que se había producido en otro comentario. La segunda se refería a un ataque personal dirigido al destinatario. Se podía elegir más de una opción. Eran evaluaciones del texto presentado, no decisiones para ocultarlo ni pruebas de que se hubiera incumplido una norma.^[2]

Consideramos que una etiqueta estaba presente si al menos una de las 10 personas la había elegido. Bastaba con que la seleccionara alguien del grupo. No exigimos una mayoría, no presentamos las etiquetas como un consenso ni comprobamos si eran correctas.

De los 13.824 fragmentos seleccionados, 12.025 no tenían ninguna de estas dos etiquetas. Otros 406 tenían una de cita o relato sin una de ataque al destinatario, y 1.238 tenían una de ataque al destinatario sin una de cita o relato. Quedaban 155 con ambas etiquetas en alguna de sus evaluaciones.

Estas descripciones se refieren solo a esas dos opciones. Un fragmento sin una etiqueta de ataque al destinatario podía tener otra clase de etiqueta de ataque. La etiqueta de cita o relato no certifica que el texto fuera inofensivo. Usar nombres precisos evita que una categoría útil se convierta, sin advertirlo, en una conclusión más amplia.

Dentro de los 155 fragmentos, comprobamos la respuesta individual que había detrás de cada etiqueta. En 98, al menos una persona eligió las dos opciones para el mismo fragmento. En 57, las selecciones de cita o relato y ataque al destinatario procedían únicamente de personas distintas. Ninguna respuesta individual de esos 57 contenía ambas.

El reparto fue del 63,2 % con al menos una persona que eligió ambas y del 36,8 % con etiquetas aportadas solo por personas distintas. Los dos grupos formaban parte del mismo conjunto específico de 155 fragmentos. El conjunto mayor de 13.824 sigue siendo importante: muestra de dónde parte esa comparación limitada a los casos con ambas etiquetas.^[4]

La distinción cambia lo que puedes afirmar a partir de un resumen. Saber que aparecen las dos etiquetas permite decir que cada una fue elegida en alguna evaluación. Por sí solo, no permite afirmar que una misma persona describiera el texto de las dos maneras.

Tampoco la selección de ambas por una persona resuelve qué significaban las palabras. Un fragmento podía combinar texto añadido durante una misma modificación de Wikipedia, incluido más de un mensaje. Que alguien eligiera las dos opciones no demuestra que el pasaje citado fuera el ataque al destinatario. No examinamos los fragmentos individuales para explicar sus evaluaciones.^[2][6]

En una empresa, el caso puede pasar de quien está pendiente de los comentarios a quien es responsable de la cuenta. Para un creador, puede pasar de un asistente al propio creador. La siguiente persona necesita entender qué se observó antes de decidir si responde, busca más contexto o aplica la política de la cuenta.

Conserva juntas las selecciones de cada persona. Si alguien elige ambas opciones, mantén ese par como parte de su evaluación. Si dos personas eligen opciones distintas, conserva sus respuestas por separado. Un caso puede contener más de una lectura sin transformarlas en una evaluación que nadie hizo.

Añade después una breve explicación del pasaje relevante. En tu propio proceso, identifica qué parece una cita, a quién parece dirigirse el texto y qué respuesta cercana ayuda a entender el intercambio. Deja visible la incertidumbre cuando falte contexto. Son sugerencias prácticas; el conjunto de datos no puso a prueba su efecto sobre las decisiones.

Una nota breve puede bastar. El objetivo es que la siguiente persona pueda seguir el razonamiento sin rehacer toda la revisión. Cuando un equipo pasa casos entre turnos o entre una marca y un creador, eso implica entregar la observación original además de la categoría que se le asignó.

Piensa en dos grupos ficticios de 10 personas que evalúan un fragmento inventado. Los grupos sirven para explicar el cálculo; no son personas, citas ni casos reales del conjunto de datos. Ambos resúmenes muestran una selección de cita o relato y otra de ataque al destinatario.^[8]

En el primer grupo, el revisor A elige ambas opciones. Las otras 9 personas no eligen ninguna de estas dos. Hay una persona cuya respuesta contiene el par. Al entregar el caso, se puede conservar esa evaluación conjunta y dejar la acción final para una decisión aparte.

En el segundo grupo, el revisor A elige cita o relato y el revisor B, ataque al destinatario. Los otros 8 no eligen ninguna opción. Los totales siguen siendo uno y uno, pero nadie eligió las dos. Presentarlo como la evaluación conjunta de una persona añadiría una relación que no aparece en las respuestas individuales.

El ejemplo también explica por qué contamos fragmentos en vez de sumar a todas las personas coincidentes. Si dos personas del primer grupo hubieran elegido ambas etiquetas, el fragmento seguiría entrando una sola vez en el grupo con selección conjunta. Su clasificación pregunta si existía ese par, no cuántas personas lo aportaron.

Para el segundo grupo, una breve entrega ficticia podría decir: «La decisión sigue abierta. El revisor A identificó una cita o relato; el revisor B, lenguaje dirigido al destinatario. Conserva ambas notas con el fragmento y la respuesta anterior. La persona responsable de la cuenta comprobará qué pasaje señalaba cada uno antes de elegir la acción». La nota transmite una pregunta sin resolver sin convertir las respuestas de dos personas en la conclusión de una sola.

En una entrega real, conserva por separado las dos notas del segundo grupo. La siguiente persona puede leerlas junto al texto, preguntar qué quiso decir cada revisor y decidir según la política de la cuenta. El estudio no determina si alguno tenía razón ni qué acción debería aplicarse al caso ficticio.

Describir lo que aparece en un comentario y decidir qué hacer con él son tareas distintas. Alguien puede detectar lenguaje citado mientras la persona responsable de la cuenta aún necesita revisar el intercambio y la política aplicable. Mantén esos pasos separados para que otra persona pueda ver cómo se llegó a la decisión.

Si una empresa trabaja con un creador, conviene acordar quién decide antes de que llegue una conversación difícil. Quien entiende una queja sobre el producto quizá no tenga autoridad para cambiar el enfoque de moderación de la cuenta. Una entrega clara puede identificar ambos papeles sin asumir que todos los casos necesitan varios revisores.

Si trabajas como creador sin ayuda, puedes mantener esa distinción en una sola nota: qué observaste, qué contexto comprobaste y qué decidiste. Una persona puede realizar varios pasos y dejar claro para qué sirve cada uno. Los datos no demuestran que añadir personal o una nueva revisión mejore los resultados.

Conserva las observaciones por separado hasta entender su relación. Las selecciones distintas pueden reflejar focos de atención diferentes, no versiones contradictorias. Una etiqueta de cita o relato no supone una exención automática, y una de ataque al destinatario no es una recomendación medida para borrar el comentario. La siguiente acción debe apoyarse en el intercambio real y en las normas de la cuenta, no en una acción deducida de nuestros porcentajes históricos.

Copia estos campos en tu documento de revisión o de entrega de casos. Usa solo la información que necesite el equipo, con un acceso adecuado a la conversación. La ficha está disponible aquí sin registrarte; es una orientación práctica, no un proceso observado en el estudio.^[8]

Caso: [Enlace o referencia interna.] Cuenta/canal: [Dónde aparece el intercambio.] Momento de la comprobación: [Fecha y hora.] Mantén una referencia estable para que la siguiente persona encuentre el mismo material.

Objetivo: [¿Qué pregunta requiere una decisión?] Responsable: [¿Quién decidirá?] Siguiente persona: [¿Quién necesita recibir el caso, si procede?]

Texto presentado: [El pasaje revisado, guardado en el espacio aprobado.] Contexto: [Respuestas anteriores o posteriores relevantes.] Contexto que falta: [Lo que no se pudo comprobar.]

Revisor: [Nombre o referencia interna de la persona.] Momento de la evaluación: [Fecha y hora.] Conserva una entrada separada por persona, aunque varias usen las mismas etiquetas.

Observación de cita o relato: [Sí, no o no está claro.] Fundamento: [¿Qué pasaje parece citar o relatar un ataque de otra persona?] No utilices este campo para decidir que el texto es inofensivo.

Observación de ataque al destinatario: [Sí, no o no está claro.] Fundamento: [¿Qué pasaje parece dirigirse al destinatario y por qué?] Mantén esta respuesta independiente de la observación de cita o relato.

Otras observaciones relevantes: [Cualquier otra cuestión que deba considerarse según la política de la cuenta.] La ausencia de una de las dos etiquetas del estudio no describe por completo el intercambio.

Relación entre evaluaciones: [Una persona eligió ambas, distintas personas eligieron opciones diferentes o no está claro.] Si difieren, conserva sus notas individuales antes de resumir el caso.

Referencia de la política: [La norma u orientación aplicable.] Decisión: [La acción elegida o la pregunta pendiente.] Motivo: [¿Cómo respaldan esa decisión las observaciones y el contexto?]

Seguimiento: [¿Quién hace qué después, si procede?] Momento de la entrega: [¿Cuándo pasa el caso a esa persona?] Resultado: [¿Qué ocurrió tras la decisión, si se comprobó?] No marques como realizada una acción que solo está prevista.

Revisar de nuevo cuando: [Un hecho concreto o una pieza de contexto que falta, si hace falta otra revisión.] La ficha no exige revisar todos los casos repetidamente; utiliza un motivo adecuado a la situación.

Definimos dos comprobaciones adicionales antes de calcular las selecciones conjuntas. La primera excluyó los fragmentos fechados en 2016, porque el intervalo de los archivos publicados superaba los periodos descritos en la presentación de la fuente y en el artículo original. Quedaron 13.809 fragmentos elegibles de la muestra aleatoria. Los mismos 155 tenían ambas etiquetas, con el mismo reparto de 98/57.^[5]

La otra comprobación utilizó el material del conjunto de datos muestreado por separado en torno a bloqueos. Con la misma regla de exactamente 10 evaluaciones por fragmento, contenía 42.383 fragmentos. De los 2.457 con ambas etiquetas en alguna evaluación, 1.354 tenían una selección conjunta por la misma persona y 1.103 recibían las etiquetas solo de personas distintas: el 55,1 % y el 44,9 %, respectivamente.

El grupo enriquecido con casos próximos a bloqueos tiene otro propósito de muestreo, por eso lo mantuvimos separado. Sus porcentajes no sustituyen el resultado principal ni aportan pruebas sobre comentarios actuales de marcas. La comprobación por año aborda el intervalo de fechas indicado; ninguna de las dos elimina la necesidad de interpretar los datos como evaluaciones subjetivas de fragmentos históricos seleccionados.

Utilizamos la versión 6 de Wikipedia Talk Labels: Personal Attacks, un conjunto público del proyecto Wikipedia Detox. Los archivos publicados contienen texto derivado de modificaciones históricas de páginas de discusión y varias evaluaciones de colaboradores para cada fragmento. Este análisis usó las respuestas individuales; no creó evaluaciones nuevas ni examinó el rendimiento de un sistema de moderación.^[1][2]

La comparación principal partió del grupo de muestreo aleatorio y conservó fragmentos con exactamente 10 evaluaciones completas de personas distintas. Mantener el número en 10 daba a cada fragmento el mismo número de oportunidades de recibir una selección conjunta. También supuso seleccionar 13.824 de los 37.492 fragmentos aleatorios publicados, por lo que el resultado no describe todo ese grupo.^[3]

Cada fragmento seleccionado aportó un caso al recuento. Comprobamos si aparecía alguna de las etiquetas y después si ambas figuraban en la respuesta de una misma persona para ese fragmento. Las cinco categorías son excluyentes y suman 13.824. El denominador de 155 procede de las dos categorías con ambas etiquetas, no del total de evaluaciones ni de todos los fragmentos de origen.^[4]

Antes de estudiar las selecciones conjuntas, fijamos los grupos de muestreo, la regla sobre el número de evaluaciones, la comprobación por año y un mínimo de 100 fragmentos para la comparación principal entre casos con ambas etiquetas. Los 155 observados cumplían ese requisito. No exigimos un porcentaje concreto, no cambiamos la regla para favorecer un resultado ni mezclamos el material enriquecido con bloqueos con el grupo aleatorio.

La investigación original ya utilizaba evaluaciones individuales, y trabajos posteriores agregaron cada categoría de ataque por mayoría. Nuestra contribución, más concreta, es esta comparación descriptiva de quién aportó las dos opciones dentro de un número fijo de evaluaciones. No corrige los métodos de esos estudios. La descarga incluye resultados agregados, métodos e instrucciones para reproducir el análisis con los archivos públicos de origen disponibles por separado.^[6][7]

La pregunta útil al entregar una revisión de moderación en redes sociales es quién hizo cada observación y qué estaba describiendo. En esta comparación histórica seleccionada, en 57 de los 155 fragmentos con ambas etiquetas nadie había elegido las dos. Esa relación se perdería en un resumen que contuviera solo los nombres de las etiquetas.

Mantén conectadas las observaciones de la persona, el contexto relevante y la decisión final. Así, una empresa o un creador puede explicar qué contiene el caso y por qué procede la acción elegida, sin pedirle a una etiqueta que sustituya toda la revisión.