Pruebas A/B de email: qué cambió después de la primera hora

A los 60 minutos, 4.712 de los 5.743 pares aptos tenían una versión por delante: su medida de clics registrados era superior a la de la otra. A los 1.440 minutos, es decir, 24 horas después del envío de cada versión, 3.510 seguían favoreciendo a la misma. Otros 991 favorecían a la contraria y 211 estaban empatados. Entre los pares que empezaron con una ventaja, el 74,5 % la conservó, el 21,0 % cambió de líder y el 4,5 % terminó empatado. ^[2]

Se compara una medida registrada concreta. Dividimos el contador de clics únicos de cada versión entre sus emails enviados declarados y multiplicamos por 100. La unidad resultante es clics registrados por cada 100 envíos. Una ventaja significa que esta medida es mayor, por pequeña que sea la diferencia. No significa que el resultado sea estadísticamente significativo.

Conviene tener presente la mayoría. Este archivo no muestra que los informes de la primera hora se invirtieran de forma generalizada. Muestra que hubo ventajas que se mantuvieron, cambios de líder y empates posteriores. Un informe que solo conserva el orden inicial pierde la distinción entre esos recorridos.

Un informe de la primera hora puede describir correctamente lo registrado entonces aunque el orden posterior sea distinto. Llamar al cambio un «falso ganador» iría más allá: supondría tomar el orden posterior como la verdad y asumir que el informe inicial afirmaba algo más que una ventaja en ese momento. Aquí se conservan ambas observaciones. La comparación muestra un cambio de orden registrado, no la tasa de error de un sistema de decisión.

La fuente también es más limitada de lo que sugiere la expresión general «pruebas A/B de email». De los pares aptos, 5.647 estaban etiquetados como nombre del remitente y 96 como tema. Por tanto, las pruebas del nombre del remitente representan el 98,3 % del análisis. Los resultados no deben presentarse como una referencia para asuntos de email ni como una estimación válida para todas las plataformas.

El gráfico siguiente utiliza como denominador los 5.743 pares, incluidos los 1.031 que empezaron empatados. Así se ven todos los recorridos observados. Los 991 cambios de líder representan el 17,3 % de todos los pares, pero el 21,0 % de los 4.712 que tenían una ventaja inicial. Ambas cifras son correctas: responden a preguntas distintas.

Cuando el informe de la primera hora muestra un empate, no hay una versión líder que pueda mantener o perder su posición. En este archivo, 588 de los 1.031 empates iniciales mostraron después una ventaja, mientras que 443 siguieron empatados. Es el 57,0 % de los empates iniciales. No debe sumarse al porcentaje de cambios de líder, que parte de otro grupo.

Muchos empates iniciales también tenían poca actividad registrada. En 655 de los 1.031 pares empatados, ambos contadores de clics únicos de la primera hora eran cero. Otros empates podían contener recuentos positivos con proporciones exactamente iguales. Clasificamos la igualdad a partir de los recuentos y totales de envío originales, no de porcentajes redondeados en un gráfico. ^[3]

Para quien prepara un informe, esto distingue «no hay ventaja en la medida registrada» de «las dos versiones rinden igual». Lo primero es una observación en un momento determinado. Lo segundo exigiría pruebas que esta comparación descriptiva no aporta. Que algunos empates se deshicieran después no establece qué versión habría que haber elegido antes.

El denominador se puede comprobar con un cálculo breve usando los recuentos reales del archivo. Divide 588 entre 1.031 para describir qué ocurrió con los empates iniciales. Divide 991 entre 4.712 para describir los cambios de líder entre los pares con una ventaja inicial. Divide cualquiera de esos recuentos entre 5.743 solo si la pregunta se refiere a todos los pares aptos. El encabezado del informe debería indicar claramente de qué grupo se parte.

Los 991 pares que cambiaron de líder tenían una mediana de la diferencia absoluta de 0,062 clics registrados por cada 100 envíos en la primera hora y de 0,110 a las 24 horas. Son diferencias entre las medidas registradas de ambas versiones, no personas adicionales, compras atribuidas ni cambios porcentuales en los ingresos. ^[3]

El denominador de envíos importa al interpretar la diferencia. Restar los contadores de clics sin más no basta para comparar versiones con totales de envío distintos. Primero hay que dividir cada contador entre su propio total de envíos declarados. Tampoco debe describirse una diferencia de 0,110 en esta medida como una mejora relativa del 0,110 %: es una diferencia absoluta en la escala por cada 100 envíos, sin un valor de ventas asociado.

La diferencia posterior tenía tamaños diversos. En los pares que cambiaron de líder, la mitad central se situaba aproximadamente entre 0,025 y 0,336 clics registrados por cada 100 envíos. La mediana describe, por tanto, una posición típica dentro del grupo; no significa que todos los cambios fueran pequeños. El orden puede cambiar con una diferencia pequeña, y algunas diferencias registradas eran mucho mayores.

Los otros recorridos aportan contexto. En los pares que mantuvieron la ventaja, la mediana de la diferencia posterior fue de 0,291. En los que pasaron del empate a una ventaja, fue de 0,444. Un empate posterior tiene una diferencia exacta de cero por definición. La tabla reúne los cinco recorridos, en lugar de destacar solo los cambios de líder.

Las columnas inicial y posterior contienen medianas calculadas por separado dentro de cada fila. No siguen a un par típico, y restarlas no da la mediana del cambio entre pares. Léelas como resúmenes de la diferencia en cada momento de observación. Para describir la dirección de la comparación, acompaña el tamaño con la etiqueta del recorrido.

Estos grupos se definen por lo que ocurrió en ambos momentos. Sus medianas no pueden utilizarse como reglas para anticipar un cambio de líder en una nueva campaña. En concreto, la menor mediana inicial de los pares que cambiaron de líder no es un umbral validado para decidir cuándo es seguro actuar a partir de un informe.

Los recuentos deben acompañar a la diferencia. Entre los 4.712 pares con una ventaja en la primera hora, la mediana del contador combinado de clics únicos de ambas versiones fue de nueve. En 488 de esos pares, el contador combinado era exactamente uno. Esto describe los datos iniciales de los pares con una ventaja; no demuestra que esos pares concretos originaran el total de cambios de líder ni que los recuentos bajos expliquen los cambios.

Fijamos comparaciones adicionales antes de calcular los resultados. Al partir de los 30 minutos en vez de los 60, había 4.507 pares con una ventaja inicial. El 24,3 % cambió de líder al llegar a los 1.440 minutos. El resultado de la primera hora fue del 21,0 % entre 4.712 pares con una ventaja. Los denominadores distintos importan: algunos pares estaban empatados en un momento y tenían una ventaja en el otro. ^[4]

Esto no demuestra que esperar otros 30 minutos evite una determinada proporción de decisiones equivocadas. Los dos cálculos describen órdenes observados tras tiempos distintos. No asignan al azar una política de espera ni evalúan las consecuencias de decidir qué versión enviar.

También restringimos la comparación de la primera hora a los 686 pares cuyas dos versiones tenían marcas de tiempo de envío registradas idénticas. De los 560 con una ventaja inicial, el 19,6 % cambió de líder después. Esta comprobación reduce una diferencia temporal en los datos registrados. Que las marcas coincidan no demuestra una entrega simultánea ni una exposición equivalente de las audiencias.

Algunos identificadores de cliente aportan muchos más pares que otros. El cálculo principal da el mismo peso a cada par. Una comprobación aparte calcula primero la proporción de cambios de líder dentro de cada uno de los 403 identificadores con al menos una ventaja en la primera hora, y después da el mismo peso a cada identificador. La media es del 19,2 %. Es la media de sus proporciones de cambios de líder, no el porcentaje de clientes que tuvieron uno. ^[4]

En conjunto, las comprobaciones fijadas de antemano conservan la cuestión práctica: una ventaja inicial observada puede mantenerse, invertirse o terminar en empate. No producen una probabilidad universal de cambio de líder. El archivo contiene registros repetidos dentro de los identificadores de cliente, y estos no constituyen una muestra verificada de empresas independientes.

Un informe útil empieza por la decisión que hay que tomar. ¿La persona que lo recibe elige el próximo envío, documenta una prueba terminada o revisa pruebas anteriores para una reunión de planificación? Una observación de la primera hora puede servir para las tres tareas, pero un informe preparado para una puede omitir información necesaria para otra.

Indica la variable probada y la medida antes de nombrar al líder. Aquí serían el nombre del remitente o el tema, seguidos del contador de clics únicos por cada 100 envíos declarados. Un equipo que use emails entregados, clics humanos verificados o compras debería indicar esa definición. Mantener visible la medida también facilita interpretar las comparaciones posteriores.

Después, coloca el momento de observación junto a la ventaja o el empate. Incluye la diferencia entre ambas medidas y los contadores y totales de envío de las dos versiones. Así, quien lee el informe ve la dirección, el tamaño de la diferencia y la actividad registrada que hay detrás, sin tener que deducirlo todo de una fila resaltada.

Una frase ilustrativa para entregar el informe podría ser: «En [momento de observación], [versión o empate] describe el orden actual según [medida definida]; la diferencia es [valor], con [contadores y totales de envío] como base». Los corchetes son campos que deben completarse con un informe real, no resultados de campañas de este estudio. Otra frase debería recoger la acción elegida y su motivo.

Si hay una observación posterior, conserva la inicial e indica si la ventaja se mantuvo, se invirtió o terminó en empate. Así, una revisión retrospectiva distingue lo que se sabía entonces de lo registrado después. Incluye también los pares que empezaron empatados, salvo que el informe trate expresamente solo de los que ya tenían una ventaja.

Elegir una versión sigue dependiendo del objetivo de la campaña, las limitaciones de entrega, la calidad de la medición y el coste de cada opción. El archivo no establece esa regla. Aporta una razón útil para no dejar que una sola palabra, «ganador», sustituya a la vez a la observación y a la decisión.

Investigaciones anteriores ya tratan el rendimiento del email como algo que evoluciona con el tiempo. «Real-Time Evaluation of E-mail Campaign Performance», de Bonfrer y Drèze, publicado en línea en 2008 y en Marketing Science en 2009, describe un método predictivo y un marco de decisión secuencial evaluados en 25 campañas. La idea general de que los resultados iniciales y posteriores pueden diferir no es nueva. ^[5]

Este análisis responde a una pregunta descriptiva más concreta con otro archivo: ¿con qué frecuencia se mantuvo, se invirtió o terminó en empate el orden registrado en los pares aptos, y qué diferencias acompañaron a esos recorridos? Conserva los empates iniciales y comprueba si la descripción cambia con decisiones temporales y de ponderación fijadas de antemano.

La distinción importa al leer los resultados. Un modelo predictivo intenta estimar qué ocurrirá después bajo sus supuestos. Nuestras tablas describen lo que contienen los registros publicados en momentos determinados. Los porcentajes observados pueden orientar cómo explica un equipo su informe; no son un modelo para elegir la versión de la próxima campaña.

SendGuard900K contiene 908.229 registros de campañas publicados. Su descripción declara metadatos de producción de 2022–2024. Examinamos 6.801 grupos identificados por la combinación de identificador de cliente e identificador de prueba, y conservamos 5.743 con exactamente dos registros aptos observados de variantes de prueba y recuentos positivos de envíos declarados. Los registros del envío final se excluyeron de la comparación de pares; no se exigía que existieran. ^{[1] [6]}

Los pares conservados abarcan 473 identificadores de cliente. Observar exactamente dos registros aptos no establece que cada experimento original tuviera solo dos variantes configuradas, que el archivo esté completo ni que las audiencias se asignaran al azar. Por eso hablamos de pares observados y no de una colección verificada de experimentos aleatorizados completos.

Para cada versión, el cálculo utiliza su contador de clics únicos a los 30, 60 o 1.440 minutos y el mismo denominador archivado de envíos declarados. Cada momento se mide respecto al envío de esa versión. Los integrantes de un par principal no tienen por qué haberse enviado a la misma hora del reloj. La comprobación con marcas de tiempo idénticas es una restricción aparte, no un supuesto aplicado a todos los pares.

Todos los contadores necesarios de los pares aptos estaban disponibles, eran válidos y no negativos; ninguno superaba su recuento de envíos declarados. Ningún contador disminuyó entre los tres momentos. Estas comprobaciones respaldan la aritmética registrada, pero no establecen qué significa un clic único, cómo se filtraron los bots, la entrega ni si las observaciones posteriores recogen todas las respuestas que acabarían llegando. ^[6]

Determinamos las ventajas y los empates comparando exactamente las proporciones originales antes de redondear. Las diferencias son absolutas, en clics registrados por cada 100 envíos. Las medianas y los demás cuantiles siguen la regla del rango más próximo: se ordenan los valores y se selecciona la posición indicada, sin interpolar. Las figuras redondean los porcentajes a un decimal y las medianas de las diferencias a tres; la descarga de figuras conserva seis decimales cuando corresponde.

El método fijó la estructura apta, los momentos de observación, los cinco recorridos, los resúmenes de recuentos y diferencias, las comprobaciones temporales y el cálculo con igual peso por cliente antes de leer los resultados. Todas las tablas agregadas previstas permanecen en la descarga de investigación, incluidos los ceros y los controles de calidad. Una reproducción independiente desde la fuente coincidió con todos los resultados agregados. Son resultados descriptivos del archivo, sin intervalos de confianza, pruebas de significación ni pretensión de representar al sector. ^[7]