Testes A/B de email: o que mudou após a primeira hora

Um relatório de teste de email mostra uma versão à frente após uma hora. Ela continuará à frente depois e qual é o tamanho da diferença? Neste acervo histórico, a maioria das vantagens persistiu, mas inversões e empates dão motivo para manter o momento da observação e os números no relatório.

Análise do Influence IQ do SendGuard900K, cuja fonte declara registros de campanhas de 2022–2024. O estudo abrange 5.743 pares observados em 473 IDs de clientes, predominantemente testes de nome do remetente. Descreve medidas registradas de cliques, não cliques apenas humanos, receita nem uma referência representativa de email.

Resumo

Um relatório inicial de teste A/B de email pode identificar qual versão está à frente sem estabelecer como a comparação ficará depois. Entre 4.712 pares observados com vantagem estrita aos 60 minutos no SendGuard900K, 74,5% mantiveram a vantagem aos 1.440 minutos, 21,0% inverteram e 4,5% viraram empates. A medida é o contador registrado de cliques únicos dividido pelos emails enviados informados, multiplicado por 100. Cada versão usa sua própria contagem fixa de envios. A fonte declara registros de 2022–2024; 5.647 dos 5.743 pares elegíveis eram testes de nome do remetente. [1]

Os outros 1.031 pares estavam empatados na primeira hora; 57,0% depois tiveram vantagem estrita. Os pares com inversão tiveram diferença mediana posterior de 0,110 clique registrado por 100 envios. Esses resultados sustentam apresentar juntos a idade da observação, a vantagem ou o empate, a diferença e o contexto de contagem. Não identificam vencedores reais, um período ideal de espera nem o efeito de adiar uma distribuição.

Suponha que você esteja preparando o próximo envio de uma newsletter. Você abre o relatório A/B, vê uma versão à frente e precisa dizer a um colega o que fazer depois. “Esta venceu” é uma mensagem rápida. Também pula 2 perguntas: qual é a vantagem e quando essa comparação foi registrada?

Comparamos os registros da primeira hora e de 24 horas dos mesmos pares de emails. A maioria das vantagens da primeira hora se manteve. O quadro completo também inclui vantagens que se inverteram, vantagens que viraram empates e empates que depois se separaram. Esses caminhos ajudam a explicar o que um relatório inicial diz antes de alguém usá-lo para escolher o próximo envio.

O mesmo par de emails em 2 momentos de observação

2 painéis transparentes contêm, cada um, um envelope azul-marinho com selo circular e um verde-sálvia com selo de losango, sob o contorno de um relógio sem ponteiros. Uma fita dourada conecta os painéis.
Ilustração conceitual das mesmas 2 versões de email observadas em 2 momentos.

A maioria das vantagens da primeira hora permaneceu, mas nem todas

Aos 60 minutos, 4.712 dos 5.743 pares elegíveis tinham uma vantagem: uma versão tinha medida registrada de cliques maior que a outra. Aos 1.440 minutos, ou 24 horas após o envio de cada versão, 3.510 ainda favoreciam a mesma versão. Outros 991 favoreciam a outra, enquanto 211 estavam empatados. São 74,5% de vantagens mantidas, 21,0% invertidas e 4,5% de empates entre os pares que começaram com vantagem. [2]

São comparações de uma medida registrada específica. Dividimos o contador de cliques únicos de cada versão pelos emails enviados informados e multiplicamos por 100. A unidade resultante é cliques registrados por 100 envios. Uma vantagem significa um valor maior dessa medida, por menor que seja a diferença. Não significa um resultado estatisticamente significativo.

Vale manter a maioria em vista. Este acervo não mostra que relatórios da primeira hora foram geralmente revertidos. Mostra que persistência, inversão e empate posterior ocorreram. Um relatório que registra apenas a ordem inicial perde a distinção entre esses caminhos posteriores.

Um relatório da primeira hora pode descrever com precisão a informação registrada naquele momento mesmo quando a ordem posterior difere. Chamar uma inversão de “falso vencedor” iria além: trataria a ordem posterior como verdade e presumiria que o relatório inicial alegou mais do que uma vantagem atual. Aqui, ambas as observações são mantidas. A comparação mostra uma mudança de ordem registrada, não uma taxa de erro de um sistema de decisão.

A fonte também é mais restrita do que sugere a expressão geral “testes A/B de email”. Dos pares elegíveis, 5.647 estavam rotulados como nome do remetente e 96 como tópico. Testes de nome do remetente correspondem, portanto, a 98,3% desta análise. Os resultados não devem ser apresentados como referência de linha de assunto nem estimativa para todas as plataformas de email.

O gráfico abaixo usa todos os 5.743 pares como denominador, incluindo os 1.031 que começaram empatados. Isso torna visível cada caminho observado. As 991 inversões são 17,3% de todos os pares, mas 21,0% dos 4.712 com vantagem inicial. Ambos os números estão corretos; respondem a perguntas diferentes.

5 caminhos abrangem todos os 5.743 pares observados de emails

De 60 a 1.440 minutos após o envio de cada versão no SendGuard900K, cuja fonte data o acervo em 2022–2024. Uma vantagem é um contador maior de cliques únicos por email enviado informado; empates usam razões exatas.

Ler os valores da figura
Caminho observadoPares observadosParcela de todos os 5.743 pares (%)
Vantagem inicial mantida3.51061,1%
Vantagem inicial invertida99117,3%
Vantagem inicial virou empate2113,7%
Empate inicial virou vantagem58810,2%
Empate inicial permaneceu4437,7%
Todo percentual aqui usa todos os 5.743 pares. As 3 primeiras linhas contêm juntas 4.712 vantagens iniciais estritas; as 2 últimas contêm 1.031 empates iniciais. Os percentuais condicionais de inversão e resolução de empate no texto usam esses grupos iniciais separados.

Um empate inicial é outro ponto de partida

Um relatório empatado na primeira hora não tem versão à frente para manter ou inverter. Neste acervo, 588 dos 1.031 empates iniciais depois tiveram uma vantagem, enquanto 443 continuaram empatados. Isso corresponde a 57,0% dos empates iniciais. Não deve ser somado ao percentual de inversão, que parte de outro grupo.

Muitos empates iniciais também continham pouca atividade registrada. Em 655 dos 1.031 pares empatados, ambos os contadores de cliques únicos da primeira hora eram 0. Outros empates podiam conter contadores positivos com razões exatamente iguais. Classificamos a igualdade a partir das contagens subjacentes e dos totais de envios, não de percentuais arredondados em um gráfico. [3]

Para uma equipe de relatórios, isso separa “não há vantagem na medida registrada” de “as 2 versões têm desempenho igual”. A primeira é uma observação em uma idade declarada. A segunda exigiria evidência que esta comparação descritiva não fornece. A separação posterior de alguns empates não estabelece qual versão deveria ter sido selecionada antes.

O denominador pode ser verificado com um cálculo curto usando as contagens reais do acervo. Divida 588 por 1.031 para descrever o que aconteceu com empates iniciais. Divida 991 por 4.712 para descrever inversões entre vantagens iniciais. Divida qualquer uma das contagens por 5.743 apenas quando a pergunta tratar de todos os pares elegíveis. O título do relatório deve explicitar esse grupo inicial.

Uma mudança de liderança não descreve o tamanho da diferença

Os 991 pares com inversão tiveram diferença absoluta mediana de 0,062 clique registrado por 100 envios na primeira hora e 0,110 em 24 horas. São diferenças entre as medidas registradas das 2 versões, não pessoas adicionais, compras atribuídas nem mudanças percentuais de receita. [3]

O denominador de envios importa ao ler essa diferença. Uma diferença nos contadores brutos de cliques não basta para comparar versões com totais de envios diferentes. Primeiro, cada contador precisa ser dividido por seu próprio total informado de envios. Uma diferença de 0,110 nessa medida também não deve ser descrita como melhoria relativa de 0,110%: é uma diferença absoluta na escala por 100 envios, sem valor de vendas associado.

O tamanho da diferença posterior variou. Para pares com inversão, a metade central ficou entre aproximadamente 0,025 e 0,336 clique registrado por 100 envios. A mediana descreve, portanto, uma posição típica nesse grupo; não significa que toda inversão tenha sido pequena. Uma ordem pode mudar com uma diferença pequena, e algumas diferenças registradas foram muito maiores.

Os outros caminhos fornecem contexto útil. Pares que mantiveram uma vantagem tiveram diferença mediana posterior de 0,291. Pares que passaram de empate a vantagem tiveram diferença mediana posterior de 0,444. Um empate posterior tem diferença exata de 0 por definição. A tabela mantém os 5 caminhos juntos, em vez de destacar apenas as inversões.

As colunas inicial e posterior são medianas separadas em cada linha. Não acompanham um par típico, e subtraí-las não dá a mudança mediana entre pares. Leia-as como resumos da diferença em cada momento de observação. Para descrever o sentido da comparação, use o rótulo do caminho junto do tamanho.

Esses grupos são definidos pelo que aconteceu nos 2 momentos de observação. Suas diferenças medianas não podem ser usadas como regras prospectivas para identificar uma inversão em uma nova campanha. Em particular, a mediana inicial menor entre pares com inversão não é um corte validado para decidir quando é seguro agir com base em um relatório.

O contexto de contagem deve acompanhar a diferença. Entre todos os 4.712 pares com vantagem na primeira hora, a mediana do contador combinado de cliques únicos das 2 versões foi 9. Em 488 desses pares, o contador combinado era exatamente 1. Isso descreve a evidência inicial entre as vantagens da primeira hora; não mostra que esses pares específicos causaram o total de inversões nem que contagens baixas expliquem as mudanças.

A diferença mediana varia entre os 5 caminhos observados

Diferenças absolutas entre as medidas registradas de cliques das 2 versões aos 60 e 1.440 minutos no SendGuard900K, cuja fonte data o acervo em 2022–2024. Cada medida é o contador de cliques únicos dividido pelos emails enviados informados, multiplicado por 100.

Ler os valores da figura
Caminho observadoPares observadosDiferença mediana aos 60 minutos (cliques registrados por 100 envios)Diferença mediana aos 1.440 minutos (cliques registrados por 100 envios)
Vantagem inicial mantida3.5100,1750,291
Vantagem inicial invertida9910,0620,110
Vantagem inicial virou empate2110,2950,000
Empate inicial virou vantagem5880,0000,444
Empate inicial permaneceu4430,0000,000
As diferenças são cliques registrados por 100 envios, não taxas verificadas de cliques humanos nem compras adicionais. Cada mediana usa os pares de sua linha. Um valor exibido como 0 é exato; medianas positivas são arredondadas para 3 casas decimais. Os caminhos usam os 2 momentos de observação, então essas medianas não são cortes prospectivos de decisão.

O que mudou ao verificar o tempo e a composição de clientes

Definimos comparações adicionais antes de calcular os resultados. Começar aos 30 minutos em vez de 60 produziu 4.507 pares com vantagem inicial. Desses, 24,3% se inverteram até 1.440 minutos. O resultado da primeira hora foi de 21,0% entre 4.712 pares com vantagem. Seus denominadores diferentes importam: alguns pares empataram em um momento e tiveram vantagem no outro. [4]

Isso não demonstra que esperar mais 30 minutos evite uma determinada parcela de decisões erradas. Os 2 cálculos descrevem ordens observadas em idades diferentes. Não atribuem aleatoriamente uma política de espera nem avaliam as consequências de uma decisão de distribuição.

Também restringimos a comparação da primeira hora aos 686 pares cujas 2 versões tinham horários registrados de envio idênticos. Dos 560 com vantagem inicial, 19,6% se inverteram depois. Essa verificação reduz uma diferença temporal nos dados registrados. Horários iguais não provam entrega simultânea nem exposição equivalente do público.

Alguns IDs de clientes contribuem com muito mais pares do que outros. O cálculo principal dá peso igual a cada par. Uma verificação separada primeiro encontra a parcela de inversão em cada um dos 403 IDs de clientes com pelo menos 1 vantagem na primeira hora e depois dá peso igual a cada ID. A média é de 19,2%. Isso descreve a média de suas parcelas de inversão, não o percentual de clientes que teve uma inversão. [4]

Juntas, as verificações predefinidas preservam a questão prática: uma vantagem inicial observada pode persistir, inverter-se ou virar empate. Não produzem uma probabilidade universal de inversão. O acervo tem registros repetidos dentro de IDs de clientes, e esses IDs não são uma amostra verificada de empresas independentes.

Parcelas de inversão em 3 comparações predefinidas

No SendGuard900K, cuja fonte data o acervo em 2022–2024, cada percentual divide inversões posteriores por pares com vantagem estrita no momento inicial de observação. O momento posterior é sempre 1.440 minutos após o envio de cada versão.

Ler os valores da figura
ComparaçãoPares com vantagem inicial estritaInversões posteriores entre vantagens iniciais estritas (%)
60 a 1.440 minutos: todos os pares elegíveis4.71221,0%
30 a 1.440 minutos: todos os pares elegíveis4.50724,3%
60 a 1.440 minutos: horários registrados de envio idênticos56019,6%
As comparações de 60 e 30 minutos começam com os mesmos 5.743 pares, mas têm denominadores diferentes de vantagem estrita. A restrição de horário idêntico começa com 686 pares. Essas comparações não estimam um benefício causal de esperar nem provam entrega simultânea.

Dê a quem escolhe o próximo envio mais do que um rótulo de vencedor

Um relatório útil começa pela decisão em questão. Quem o recebe está escolhendo o próximo envio, documentando um teste concluído ou revisando testes anteriores para uma reunião de planejamento? Uma observação da primeira hora pode ser relevante para cada tarefa, mas um relatório preparado para uma pode omitir informação necessária para outra.

Identifique a variável testada e a medida antes de apontar quem está à frente. Aqui, isso significa nome do remetente ou tópico, seguido do contador de cliques únicos por 100 envios informados. Uma equipe que usa emails entregues, cliques humanos verificados ou compras deve declarar essa definição. Manter a medida visível também facilita interpretar comparações posteriores.

Depois, coloque o momento da observação junto da vantagem ou do empate. Inclua a diferença entre as 2 medidas e os contadores subjacentes e totais de envios de ambas as versões. Quem lê o relatório pode então ver um sentido, uma diferença e a atividade registrada por trás, em vez de inferir os 3 de uma linha destacada.

Uma frase ilustrativa de passagem poderia ser: “Em [momento da observação], [versão ou empate] descreve a ordem atual em [medida definida]; a diferença é [valor], com [contadores e totais de envios] por trás.” Os colchetes são campos a preencher a partir de um relatório real, não resultados de campanha deste estudo. Uma frase separada deve registrar a ação escolhida e seu motivo.

Se houver um momento posterior de observação, mantenha a observação anterior e mostre se a vantagem se manteve, se inverteu ou virou empate. Isso permite a uma revisão retrospectiva distinguir o que se sabia naquele momento do que foi registrado depois. Inclua também pares que começaram empatados, a menos que o relatório trate explicitamente apenas dos pares que já tinham vantagem.

Escolher uma versão ainda depende do objetivo da campanha, das restrições de entrega, da qualidade da medição e do custo de cada escolha. O acervo não define essa regra. Ele fornece um motivo útil para evitar que uma palavra, “vencedor”, substitua a observação e a decisão juntas.

Mantenha a observação ligada à decisão

Envelopes azul-marinho e verde-sálvia se conectam a cartões separados que associam cada envelope ao contorno de um relógio sem ponteiros. Uma seta leva a um caderno aberto com os 2 cartões ao lado de um lápis.
  1. Defina a comparação

    Identifique a variável testada, a medida registrada e o momento de observação.

  2. Mantenha as evidências juntas

    Relate a vantagem ou o empate junto da diferença e dos contadores por trás.

  3. Declare a decisão separadamente

    Mantenha a regra de decisão da campanha separada da vantagem ou do empate observado.

Ilustração conceitual de levar cada versão de email e seu momento de observação para um relatório.

A avaliação inicial de emails é uma questão de pesquisa já estabelecida

Pesquisas anteriores já tratam o desempenho de email como algo que se desenvolve ao longo do tempo. “Real-Time Evaluation of E-mail Campaign Performance”, de Bonfrer e Drèze, publicado online em 2008 e em Marketing Science em 2009, descreve um método preditivo e uma estrutura de decisão sequencial, avaliados em 25 campanhas. A ideia geral de que resultados iniciais e posteriores podem diferir não é nova. [5]

Esta análise responde a uma pergunta descritiva mais restrita com outro acervo: com que frequência as ordens registradas persistiram, se inverteram ou empataram nos pares elegíveis e quais diferenças acompanharam esses caminhos? Ela mantém os empates iniciais visíveis e verifica se o quadro muda sob escolhas predefinidas de tempo e ponderação.

Essa distinção importa ao ler os resultados. Um modelo preditivo tenta estimar o que acontecerá depois sob suas premissas. Nossas tabelas descrevem o que os registros publicados contêm em idades especificadas. Os percentuais observados podem orientar como uma equipe explica um relatório; não são um modelo para selecionar a versão da próxima campanha.

Como os pares registrados foram comparados

O SendGuard900K contém 908.229 registros publicados de campanhas. Sua descrição de origem declara metadados de produção de 2022–2024. Examinamos 6.801 grupos identificados pela combinação de ID de cliente e ID de teste e mantivemos 5.743 grupos com exatamente 2 registros observados elegíveis de partes de teste e contagens positivas informadas de envios. Registros de distribuição final foram excluídos da comparação de pares; sua presença não era exigida. [1] [6]

Os pares mantidos abrangem 473 IDs de clientes. Exatamente 2 registros observados elegíveis não estabelecem que todo experimento original tinha apenas 2 variantes configuradas, que seu acervo é completo nem que os públicos foram atribuídos aleatoriamente. Por isso, descrevemos pares observados, não uma coleção verificada de experimentos aleatorizados completos.

Para cada versão, o cálculo usa seu contador de cliques únicos aos 30, 60 ou 1.440 minutos e o mesmo denominador arquivado de envios informados. Cada momento é medido em relação ao envio daquela versão. Um par principal não precisa compartilhar o mesmo horário de relógio de envio. A verificação de horário igual é uma restrição separada, não uma suposição aplicada a todos os pares.

Todos os contadores exigidos nos pares elegíveis estavam disponíveis, válidos e não negativos; nenhum superou sua contagem informada de envios. Nenhum contador diminuiu nos 3 momentos de observação. Essas verificações sustentam a aritmética registrada, mas não estabelecem o significado de um clique único, filtragem de bots, entrega nem se as observações posteriores capturam toda resposta eventual. [6]

Determinamos vantagens e empates por comparações exatas das razões subjacentes antes do arredondamento. As diferenças são absolutas em cliques registrados por 100 envios. Medianas e outros quantis usam a regra de posto mais próximo: ordenar os valores e selecionar a posição indicada, sem interpolação. As figuras arredondam percentuais para 1 casa decimal e diferenças medianas para 3; o download das figuras mantém 6 casas decimais quando aplicável.

O método definiu a estrutura elegível, os momentos de observação, os 5 caminhos, os resumos de contagem e diferença, as verificações temporais e o cálculo de clientes com peso igual antes de ler os resultados. Todas as tabelas agregadas predefinidas permanecem no download da pesquisa, incluindo contagens zero e verificações de qualidade. Uma reprodução independente da fonte correspondeu aos resultados agregados completos. São resultados descritivos do acervo, sem intervalos de confiança, testes de significância ou alegação de amostragem representativa do setor. [7]

O CSV das figuras contém 31 valores numéricos, 1 por linha de dados, das 13 linhas mostradas em 3 figuras. O ZIP mantém todas as 11 tabelas agregadas, verificações das fontes e código de reprodução. Não contém linhas de campanhas nem identificadores de cliente/teste. Inclui instruções traduzidas; reproduzir a análise exige o arquivo de origem baixado separadamente. Os downloads numéricos usam ponto decimal.

Fontes e notas

  1. Fonte: Bobek, Nalepa, Obara, Suszalski e Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, versão 1.0.0. A fonte declara metadados de campanhas de 2022–2024 e atribui direitos autorais à Freshmail, 2025. Esta análise usa 5.743 pares observados elegíveis, não todas as 908.229 linhas de campanhas. Desses pares, 5.647 têm o rótulo sender_name e 96, topic.
  2. Entre 4.712 vantagens estritas da primeira hora, 3.510 se mantiveram, 991 se inverteram e 211 empataram depois: 74,5%, 21,0% e 4,5%. Entre 1.031 empates iniciais, 588 se resolveram em vantagem estrita e 443 permaneceram empatados: 57,0% e 43,0%. A figura de 5 caminhos divide cada contagem por todos os 5.743 pares. Os valores são calculados antes do arredondamento de exibição.
  3. A medida é o contador de cliques únicos dividido pela contagem fixa informada de envios da versão, multiplicado por 100. As classificações de vantagem e empate usam razões exatas, não exibições arredondadas. Diferenças absolutas têm unidade de cliques registrados por 100 envios. Para pares com inversão, a mediana posterior é 0,109543, com primeiro e terceiro quartis de 0,024817 e 0,336215. Todos os zeros exibidos na tabela de diferenças medianas dos 5 caminhos são zeros exatos.
  4. A comparação de 30 minutos tem 4.507 vantagens iniciais estritas, incluindo 1.093 inversões posteriores. A restrição de mesmo horário registrado tem 686 pares, incluindo 560 vantagens iniciais estritas e 110 inversões. O resultado principal de clientes com peso igual calcula a média das frações de inversão dentro dos clientes entre 403 IDs com pelo menos 1 vantagem inicial estrita. Sua média é 19,227847%; não é um percentual de contagem de clientes nem uma estimativa representativa de empresas.
  5. Bonfrer e Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; publicado online em 7 de outubro de 2008, edição de 2009. O resumo da editora descreve uma abordagem preditiva split-hazard, 25 campanhas e uma estrutura de decisão sequencial. Sustenta o histórico anterior da avaliação inicial de emails, não uma validação dos nossos percentuais descritivos do acervo.
  6. A triagem fixa da fonte mantém exatamente 2 registros observados elegíveis de partes de teste por grupo composto de cliente/teste, excluindo linhas de distribuição final. Os campos públicos não estabelecem completamente a convenção de início/fim do relógio de envio nem sua duração, a chave de unicidade de clique, atividade apenas humana, denominadores de emails entregues, atribuição completa do experimento original nem maturidade da extração. Contadores válidos e não decrescentes não resolvem esses limites. Horários registrados de envio idênticos não provam entrega simultânea.
  7. O SendGuard900K é publicado sob Creative Commons Attribution 4.0 International. O pacote de pesquisa contém código de análise, método fixo e tabelas agregadas derivadas; não redistribui registros de campanhas nem identificadores de cliente/teste. Reproduzir a partir da fonte exige baixar separadamente o arquivo original. O pacote compartilhado inclui instruções traduzidas.

A edição original deste artigo está em inglês. Todas as edições por idioma descrevem o mesmo acervo histórico SendGuard900K, cuja fonte declara registros de 2022–2024. A tradução não transforma esses resultados em referência de mercado local nem do setor atual.

Mantenha claras a medida e a janela de observação