Pruebas multivariantes: qué puedes aprender de una prueba de creatividades

Examinamos las combinaciones de titulares e imágenes dentro de cada prueba del sitio web de Upworthy. De las 3.212 pruebas que cumplían los criterios principales, 188 variaban ambos elementos. La mayoría de las restantes variaban solo uno. Analizamos cada prueba por separado y le dimos el mismo peso, independientemente de cuántas personas pudieran haberla visto. ^[2]

Solo 31 de las 188 incluían todas las combinaciones de sus titulares e identificadores de imagen observados. Las otras 157 eran cuadrículas incompletas. Puede parecer una limitación importante hasta que miras qué comparaciones seguían siendo posibles. De esos 157 diseños, 75 permitían comparar titulares con una misma imagen y comparar imágenes con un mismo titular. Otros 30 solo permitían lo primero, y 45 solo lo segundo. Siete no permitían ninguna de las dos cosas.

En conjunto, 150 de los 157 diseños incompletos, el 95,5 %, conservaban al menos una forma de comparar un elemento manteniendo fijo el otro. Esto no demuestra que tuvieran suficiente tráfico, una asignación adecuada o un resultado relevante. Sí muestra que descartar un diseño solo porque no probó todas las combinaciones es un criterio demasiado amplio.

La tabla reúne los diseños completos e incompletos. De los 188, 106 contenían ambos tipos de comparación, 30 solo comparaciones de titulares, 45 solo de imágenes y siete ninguna. «Ambos» significa al menos una de cada tipo. No significa que todos los titulares o imágenes puedan compararse en igualdad de condiciones.

El artículo original del archivo ya explica que los editores solían elegir versiones sin probar todas las combinaciones posibles. Nuestra aportación es este inventario de las comparaciones que esas decisiones dejaban disponibles. No podemos reconstruir el objetivo de cada editor ni juzgar si su diseño lo cumplía. ^[1]

Imagina un taller de cerámica que anuncia una actividad de fin de semana. Tiene dos titulares: A, «Haz tu primer cuenco de cerámica», y B, «Pasa el sábado en el torno». La Imagen 1 muestra un cuenco terminado; la Imagen 2, el torno. Son opciones ilustrativas, no ejemplos de Upworthy ni resultados medidos de una campaña. Mantén iguales la oferta y el resto del texto visible al considerar estos tres diseños.

El primero incluye la cuadrícula completa: A con la Imagen 1, A con la Imagen 2, B con la Imagen 1 y B con la Imagen 2. El equipo puede comparar los titulares manteniendo fija la Imagen 1 y repetir esa comparación con la Imagen 2. También puede comparar las imágenes con cada titular. Las cuatro celdas permiten esas comparaciones; no determinan cuánta evidencia se recogerá en cada una.

El segundo es una cuadrícula parcial: A con la Imagen 1, B con la Imagen 1 y B con la Imagen 2. Falta A con la Imagen 2. El equipo puede comparar A y B manteniendo fija la Imagen 1. Por separado, puede comparar las imágenes manteniendo fijo el titular B. La celda ausente no elimina esas dos comparaciones.

Pero la cuadrícula parcial no permite responder directamente, con las cuatro celdas, a otra pregunta: ¿la diferencia entre A y B sería la misma con la Imagen 2? No hay un resultado de A con la Imagen 2 para comprobarlo. Tampoco permite identificar la mejor de las cuatro versiones posibles eligiendo solo entre las tres observadas. La versión no probada podría comportarse de otra manera.

El tercer diseño, en diagonal, solo incluye A con la Imagen 1 y B con la Imagen 2. Ningún elemento se mantiene fijo entre ambas versiones. Una prueba válida podría ayudar a elegir entre esas dos creatividades completas. Esa comparación, por sí sola, no permitiría separar la contribución del titular de la contribución de la imagen.

Ninguno de estos diseños es siempre el mejor. Si el taller debe elegir entre dos conceptos aprobados para un lanzamiento concreto, comparar las versiones completas puede ser adecuado. Si quiere reutilizar un titular con otras imágenes, necesita evidencia que responda a esa decisión más amplia. Añadir combinaciones tiene sentido cuando permite responder a una pregunta real del equipo. ^[3]

El archivo permite ver esta diferencia. De los 106 diseños que contenían ambos tipos de comparación, 74 no incluían ni un solo rectángulo completo de dos titulares y dos imágenes. Un diseño puede, por tanto, permitir comparar titulares en una parte e imágenes en otra sin aportar las cuatro celdas necesarias para comparar directamente sus diferencias.

Volvamos a la cuadrícula parcial del taller. Comparar A y B con la Imagen 1 responde a una pregunta. Comparar las imágenes con el titular B responde a otra. Ninguna indica si la diferencia entre titulares cambia al cambiar la imagen. Esa tercera pregunta trata sobre una interacción: si la relación entre un elemento y la respuesta depende del otro elemento.

De los 188 diseños, 32 contenían al menos un rectángulo completo. Entre ellos estaban las 31 cuadrículas completas y una cuadrícula más grande e incompleta. Ese rectángulo aporta las celdas para calcular directamente un contraste de interacción. No demuestra que exista una interacción ni es la única forma de estudiarla con otros diseños o supuestos de modelización.

Para el equipo de campaña, esta diferencia debe quedar clara en el plan antes de llegar al modelo estadístico. «Compara estos dos titulares con esta imagen» es una petición más limitada que «encuentra un titular que funcione con nuestras distintas imágenes». Un resultado que responde a la primera no debe convertirse sin más en la respuesta a la segunda.

El inventario principal excluye las pruebas cuyo intervalo de fechas de creación toca el periodo del 25 de junio de 2013 al 10 de enero de 2014. Los investigadores del archivo identificaron posibles problemas de asignación en esas fechas. Son importantes para estudiar relaciones de causa y efecto, pero no inutilizan los registros de combinaciones para un inventario estructural. Por eso repetimos la comparación incluyendo ese periodo. ^[4]

El análisis ampliado contiene 239 pruebas que variaban ambos elementos. Cuarenta incluyen todas las combinaciones y 199 son incompletas. Entre estas últimas, 180, el 90,5 %, conservan al menos una comparación con un elemento fijo, y 93, el 46,7 %, conservan ambos tipos. En el análisis principal, las cifras equivalentes son el 95,5 % y el 47,8 %. Los porcentajes cambian, pero los diseños incompletos siguen conservando con frecuencia una comparación concreta.

También comprobamos una decisión sobre el tratamiento del texto. El análisis principal compara exactamente los textos de titulares y extractos. Al eliminar los caracteres en blanco (espacios, tabulaciones y saltos de línea) al principio y al final y sustituir cada secuencia interior por un solo espacio, aparecen 189 pruebas que variaban ambos elementos: 31 cuadrículas completas, 108 con ambos tipos de comparación y 32 con un rectángulo completo. Esta comprobación cambia qué diseños cumplen los criterios, por lo que sus cifras llevan su propio denominador. ^[5]

La mediana de cobertura es del 50 % en los tres análisis. La cobertura es el número de combinaciones de titular e imagen observadas dividido entre el número posible con los titulares e identificadores de imagen de esa prueba. La mediana describe los diseños; no puntúa su calidad. Una combinación ausente podía ser irrelevante, inadecuada o ajena a la comparación que buscaba el editor. El archivo no permite saber por qué se omitió.

En el caso del taller, empieza por decidir qué ocurrirá después de la prueba. ¿El equipo elegirá una promoción completa, mantendrá una imagen y revisará su titular, o usará un titular en varios diseños futuros? Cada decisión requiere comparaciones diferentes. Una cuadrícula más grande no aprovecha necesariamente mejor el esfuerzo del equipo.

Si la decisión afecta a versiones completas, enuméralas sin prometer una explicación de cada componente. Si afecta a un titular, identifica la imagen que se mantendrá fija. Si el equipo necesita examinar si la diferencia entre titulares cambia con dos imágenes, incluye las cuatro combinaciones pertinentes o utiliza otro diseño debidamente justificado. Separa esta decisión de la elección de la medida de respuesta, la asignación y el periodo de observación.

Antes de añadir combinaciones, comprueba que tengan sentido. Un titular sobre una oferta concreta puede encajar solo con una imagen de producto. Crear una pareja inadecuada solo para completar la cuadrícula cambiaría la tarea. El equipo puede limitar la pregunta o crear versiones que sí puedan combinarse. Una cuadrícula completa es útil cuando sus comparaciones sirven para decidir, no porque una tabla llena parezca más exhaustiva.

Utiliza los siguientes campos como un breve plan de la prueba. El texto entre corchetes se refiere a tu campaña, no a un hallazgo del estudio.

Decisión después de la prueba: [elegir una versión completa; comparar un elemento concreto en un contexto definido; examinar una combinación específica de elementos].

Elementos y versiones: [textos exactos de los titulares; archivos de imagen o identificadores estables; cualquier otro contenido que cambie].

Versiones incluidas: [las parejas de titular e imagen que se mostrarán].

Comparaciones necesarias: [qué parejas mantienen fijo un elemento; qué cuatro celdas responden a la pregunta de interacción, si procede].

Plan de evidencia: [medida de respuesta; público y asignación; condiciones de exposición; periodo previsto de observación y criterio de revisión].

Límite de la conclusión: [qué podría respaldar el diseño; qué combinaciones o contextos no probados quedan fuera de la decisión].

Por ejemplo, con el diseño parcial de tres celdas, el taller puede escribir: «Compararemos los titulares con la Imagen 1 y las imágenes con el titular B. No probaremos el titular A con la Imagen 2». Así deja claras dos preguntas útiles y la comparación que falta, sin declarar que el diseño sea inadecuado.

Un creador que prepara trabajo para un cliente puede aplicar la misma distinción al hablar de cambios en la miniatura y el título. La pregunta es qué versión o elemento quiere elegir el cliente. Sin embargo, nuestras cifras proceden del sitio web de un editor y no establecen cómo una plataforma social actual asigna o mide variantes creativas.

La fuente es el archivo exploratorio público de Upworthy Research Archive, descrito por J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere y Charles Ebersole. Contiene 22.666 filas de versiones agrupadas en 4.873 pruebas del archivo histórico de 2013–2015. Utilizamos el titular, el identificador de imagen, el extracto, el identificador de prueba, la fecha y hora de creación y el índice de fila del archivo. No utilizamos clics, impresiones ni selecciones editoriales. ^{[1] [6]}

Una comprobación previa de viabilidad estructural ayudó a definir la pregunta del plan definitivo. Por tanto, es un nuevo análisis exploratorio, no un estudio confirmatorio prerregistrado. Las reglas conservan las pruebas con campos estructurales utilizables, aplican la restricción temporal principal y exigen que el extracto sea idéntico en todas sus versiones. Esta última restricción es conservadora porque el artículo y la documentación del archivo discrepan sobre si ese texto se mostraba. ^[6]

La tabla de selección muestra exclusiones sucesivas y después desglosa las pruebas admitidas. Cinco carecen de titular o identificador de imagen; las siguientes 1.050 no cumplen el criterio temporal y 606 tienen extractos distintos. Las 3.212 pruebas conservadas incluyen 1.624 que solo varían titulares, 1.078 que solo varían identificadores de imagen, 188 que varían ambos y 322 con una única combinación observada. Esta última categoría puede contener varias filas de origen.

Dentro de cada prueba, las parejas idénticas de titular e imagen se cuentan una sola vez como celdas del diseño. Cinco de las 188 pruebas que varían ambos elementos tienen celdas repetidas. Una cuadrícula completa contiene todas las parejas de textos de titulares e identificadores de imagen observados en esa prueba. Dos textos distintos no tienen por qué expresar ideas distintas, y dos identificadores de imagen no tienen por qué corresponder a imágenes visualmente diferentes; los archivos de imagen no están disponibles.

Los resultados dan el mismo peso a cada diseño, no a personas, impresiones o empresas. No establecen prácticas actuales de marketing, rendimiento ni potencia estadística. Las descargas incluyen los resultados agregados y el método de reproducción, con ambas comprobaciones de alcance, para que puedas examinar la diferencia entre una combinación observada y una conclusión extraída de ella. ^[7]