A/B-тестирование писем: что изменилось после первого часа
В отчёте о тесте писем один вариант лидирует через час. Останется ли он впереди позже и насколько велик разрыв? В этом историческом архиве большинство лидеров сохранили преимущество, но смены лидера и равенство показателей дают основание сохранять в отчёте момент наблюдения и числа.
Анализ Influence IQ по данным SendGuard900K, источник которого заявляет записи кампаний за 2022–2024 годы. Исследование охватывает 5 743 наблюдаемые пары из 473 ID клиентов, преимущественно тесты имени отправителя. Оно описывает зарегистрированные показатели кликов и не подтверждает, что клики сделаны только людьми; это не данные о выручке и не репрезентативный ориентир для email-маркетинга.
Аннотация
Ранний отчёт A/B-теста писем может показать текущего лидера, но не установить, как сравнение будет выглядеть позже. Из 4 712 наблюдаемых пар SendGuard900K со строгим лидерством на 60-й минуте 74,5 % сохранили его на 1 440-й минуте, в 21,0 % лидер сменился, а в 4,5 % показатели сравнялись. Показатель — значение счётчика уникальных кликов, делённое на указанное число отправленных писем и умноженное на 100. У каждого варианта свой фиксированный знаменатель отправок. Источник заявляет записи за 2022–2024 годы; 5 647 из 5 743 подходящих пар были тестами имени отправителя. [1]
В первый час ещё 1 031 пара имела равные показатели; в 57,0 % позже появился строгий лидер. У пар со сменой лидера медианный поздний разрыв составил 0,110 зарегистрированного клика на 100 отправленных писем. Эти результаты дают основание указывать вместе время после отправки, лидера или равенство, величину разрыва и исходные количества. Они не определяют настоящих победителей, оптимальное время ожидания или эффект отсрочки массовой отправки.
Допустим, вы готовите следующий выпуск рассылки. Вы открываете A/B-отчёт, видите лидирующий вариант и должны сообщить коллеге, что делать дальше. «Этот вариант победил» — быстрое сообщение. Но оно пропускает 2 вопроса: насколько он впереди и когда было зафиксировано сравнение?
Мы сравнили записи первого часа и 24 часов для одних и тех же пар писем. Большинство ранних лидеров сохранили преимущество. Полная картина также включает смены лидера, переходы от лидерства к равенству и от равенства к лидерству. Эти переходы помогают понять ранний отчёт, прежде чем использовать его для выбора следующей отправки.
Одна и та же пара писем в 2 момента наблюдения

Большинство лидеров первого часа сохранили преимущество, но не все
На 60-й минуте в 4 712 из 5 743 подходящих пар был лидер: зарегистрированный показатель кликов одного варианта превышал показатель другого. На 1 440-й минуте, то есть через 24 часа после отправки каждого варианта, 3 510 пар по-прежнему показывали преимущество того же варианта. Ещё в 991 паре лидировал другой вариант, а в 211 показатели сравнялись. Среди пар с ранним лидером это 74,5 % с сохранением лидерства, 21,0 % со сменой и 4,5 % с равенством. [2]
Это сравнения конкретного зарегистрированного показателя. Мы делим счётчик уникальных кликов каждого варианта на указанное число отправленных писем и умножаем на 100. Единица результата — зарегистрированные клики на 100 отправленных писем. Лидерство означает большее значение этого показателя при сколь угодно малом различии. Оно не означает статистически значимого результата.
Большинство случаев важно сохранять в поле зрения. Этот архив не показывает, что отчёты первого часа обычно опровергались. Он показывает, что встречались и сохранение лидерства, и его смена, и позднее равенство. Отчёт только с ранним порядком вариантов теряет различие между этими последующими путями.
Отчёт первого часа может точно описывать информацию, зафиксированную тогда, даже если позднее порядок вариантов меняется. Назвать раннего лидера в таком случае «ложным победителем» — более сильное утверждение: оно принимает поздний порядок за истину и предполагает, что ранний отчёт заявлял больше, чем текущее лидерство. Здесь сохраняются оба наблюдения. Сравнение показывает изменение зарегистрированного порядка, а не долю ошибок системы принятия решений.
Данные описывают более узкую ситуацию, чем подразумевает общее выражение «A/B-тестирование писем». Среди подходящих пар 5 647 были помечены как тесты имени отправителя, а 96 — как topic. Поэтому тесты имени отправителя составляют 98,3 % этого анализа. Результаты нельзя представлять как ориентир для тестов темы письма или оценку для любой email-платформы.
График ниже использует в знаменателе все 5 743 пары, включая 1 031 с ранним равенством. Так виден каждый наблюдаемый путь. 991 смена лидера составляет 17,3 % всех пар, но 21,0 % от 4 712 пар с ранним лидером. Оба числа верны: они отвечают на разные вопросы.
5 переходов охватывают все 5 743 наблюдаемые пары писем
От 60 до 1 440 минут после отправки каждого варианта в SendGuard900K, который источник относит к 2022–2024 годам. Лидерство — более высокое отношение счётчика уникальных кликов к указанному числу отправленных писем; равенство определяется точными отношениями.
| Наблюдаемый переход | Наблюдаемые пары | Доля всех 5 743 пар (%) |
|---|---|---|
| Раннее лидерство сохранилось | 3 510 | 61,1 % |
| Ранний лидер сменился | 991 | 17,3 % |
| Раннее лидерство сменилось равенством | 211 | 3,7 % |
| Раннее равенство сменилось лидерством | 588 | 10,2 % |
| Раннее равенство сохранилось | 443 | 7,7 % |
Раннее равенство — другая исходная ситуация
В отчёте первого часа с равными показателями нет лидирующего варианта, который мог бы сохранить или потерять преимущество. В этом архиве в 588 из 1 031 такой пары позже появился лидер, а в 443 равенство сохранилось. Это 57,0 % пар с ранним равенством. Эту долю нельзя прибавлять к проценту смен лидера, рассчитанному для другой исходной группы.
Во многих парах с ранним равенством было мало зарегистрированной активности. В 655 из 1 031 такой пары оба счётчика уникальных кликов первого часа равнялись 0. Другие равенства могли включать положительные счётчики с точно равными отношениями. Мы определяем равенство по исходным счётчикам и числам отправок, а не по округлённым процентам на графике. [3]
Для команды отчётности это отделяет «в зарегистрированном показателе нет лидера» от «2 варианта работают одинаково». Первое — наблюдение в указанный момент после отправки. Второе требует доказательств, которых это описательное сравнение не даёт. Позднее расхождение некоторых равных показателей не устанавливает, какой вариант следовало выбрать раньше.
Знаменатель можно проверить коротким расчётом по фактическим количествам архива. Разделите 588 на 1 031, чтобы описать судьбу пар с ранним равенством. Разделите 991 на 4 712, чтобы описать смены среди ранних лидеров. Делите любое из этих количеств на 5 743, только если вопрос касается всех подходящих пар. Заголовок отчёта должен явно называть исходную группу.
Смена лидера не описывает величину разрыва
У 991 пары со сменой лидера медианный абсолютный разрыв составил 0,062 зарегистрированного клика на 100 отправленных писем в первый час и 0,110 через 24 часа. Это разности зарегистрированных показателей 2 вариантов, а не дополнительные люди, атрибутированные покупки или процентные изменения выручки. [3]
При чтении разрыва важен знаменатель отправок. Разности исходных счётчиков кликов недостаточно для сравнения вариантов с разным числом отправленных писем. Сначала каждый счётчик нужно разделить на его собственное указанное число отправок. Разрыв 0,110 по этому показателю также нельзя описывать как относительное улучшение на 0,110 %: это абсолютная разность на шкале «на 100 отправленных писем», без приписанной стоимости продаж.
Величина позднего разрыва различалась. У пар со сменой лидера центральная половина значений лежала примерно между 0,025 и 0,336 зарегистрированного клика на 100 отправленных писем. Поэтому медиана описывает типичное положение внутри группы, но не означает, что каждая смена была малой. Порядок может измениться при небольшом разрыве, а некоторые зарегистрированные разрывы были гораздо больше.
Другие переходы дают полезный контекст. У пар с сохранением лидера медианный поздний разрыв составил 0,291. У пар, перешедших от равенства к лидерству, — 0,444. Позднее равенство по определению имеет точный разрыв 0. Таблица сохраняет все 5 переходов вместе, а не выделяет только смены лидера.
Ранний и поздний столбцы — отдельные медианы внутри каждой строки. Они не прослеживают одну типичную пару, а их вычитание не даёт медиану изменений по отдельным парам. Читайте их как сводные разрывы в каждый момент наблюдения. Чтобы описать направление сравнения, указывайте вместе с величиной название перехода.
Эти группы определены по тому, что произошло в оба момента наблюдения. Их медианные разрывы нельзя использовать как правило прогнозирования смены лидера в новой кампании. В частности, меньшая ранняя медиана среди пар со сменой лидера не является проверенным порогом, позволяющим решить, когда по отчёту уже безопасно действовать.
Рядом с разрывом нужны исходные количества. Среди всех 4 712 пар с лидером в первый час медиана суммы счётчиков уникальных кликов 2 вариантов равнялась 9. В 488 таких парах сумма была ровно 1. Это описывает исходные данные о ранних лидерах, но не показывает, что именно эти пары определили общее число смен или что малые количества объясняют изменения.
Медианный разрыв различается между 5 наблюдаемыми переходами
Абсолютные разности зарегистрированных показателей кликов 2 вариантов на 60-й и 1 440-й минуте в SendGuard900K, который источник относит к 2022–2024 годам. Каждый показатель — счётчик уникальных кликов, делённый на указанное число отправленных писем и умноженный на 100.
| Наблюдаемый переход | Наблюдаемые пары | Медианный разрыв на 60-й минуте (зарегистрированные клики на 100 отправленных писем) | Медианный разрыв на 1 440-й минуте (зарегистрированные клики на 100 отправленных писем) |
|---|---|---|---|
| Раннее лидерство сохранилось | 3 510 | 0,175 | 0,291 |
| Ранний лидер сменился | 991 | 0,062 | 0,110 |
| Раннее лидерство сменилось равенством | 211 | 0,295 | 0,000 |
| Раннее равенство сменилось лидерством | 588 | 0,000 | 0,444 |
| Раннее равенство сохранилось | 443 | 0,000 | 0,000 |
Что изменилось при проверке времени и состава клиентов
Дополнительные сравнения были заданы до расчёта исходов. При начале с 30 минут вместо 60 ранний лидер был в 4 507 парах. Из них к 1 440-й минуте лидер сменился в 24,3 %. Для первого часа результат составлял 21,0 % среди 4 712 пар с лидером. Разные знаменатели важны: некоторые пары имели равные показатели в один момент и лидера — в другой. [4]
Это не доказывает, что дополнительные 30 минут ожидания предотвращают определённую долю неверных решений. 2 расчёта описывают наблюдаемый порядок вариантов на разных сроках. Они не распределяют случайным образом правила ожидания и не оценивают последствия решения о массовой отправке.
Мы также ограничили сравнение первого часа 686 парами, у которых 2 варианта имели одинаковые зарегистрированные временные метки отправки. Среди 560 пар с ранним лидером в 19,6 % он позже сменился. Эта проверка уменьшает 1 различие во времени в записях. Совпадающие метки не доказывают одновременную доставку или равный контакт аудитории с письмами.
Некоторые ID клиентов дают гораздо больше пар, чем другие. Основной расчёт придаёт каждой паре одинаковый вес. В отдельной проверке сначала определяется доля смен лидера внутри каждого из 403 ID клиентов, имеющих хотя бы 1 пару с лидером в первый час, затем каждому такому ID придаётся равный вес. Среднее — 19,2 %. Это среднее их долей смен, а не процент клиентов, у которых произошла смена лидера. [4]
Вместе заранее заданные проверки сохраняют практический вопрос: наблюдаемое раннее лидерство может сохраниться, перейти к другому варианту или смениться равенством. Они не дают универсальную вероятность смены лидера. В архиве есть повторные записи внутри ID клиентов, а сами ID не являются проверенной выборкой независимых компаний.
Доли смен лидера в 3 заранее заданных сравнениях
В SendGuard900K, который источник относит к 2022–2024 годам, каждый процент показывает долю последующих смен среди пар со строгим лидерством в ранний момент наблюдения. Поздний момент — всегда через 1 440 минут после отправки каждого варианта.
| Сравнение | Пары со строгим ранним лидерством | Поздние смены среди строгих ранних лидеров (%) |
|---|---|---|
| 60–1 440 минут: все подходящие пары | 4 712 | 21,0 % |
| 30–1 440 минут: все подходящие пары | 4 507 | 24,3 % |
| 60–1 440 минут: одинаковые зарегистрированные метки отправки | 560 | 19,6 % |
Выбор следующей отправки требует больше, чем отметки «победитель»
Полезный отчёт начинается с решения, которое нужно принять. Получатель выбирает следующую отправку, документирует завершённый тест или изучает прежние тесты для планёрки? Наблюдение первого часа может быть полезно в каждой задаче, но отчёт для одной из них способен пропустить сведения, нужные для другой.
Прежде чем назвать лидера, укажите тестируемую переменную и показатель. Здесь это имя отправителя или категория topic, затем счётчик уникальных кликов на 100 указанных отправленных писем. Команда, использующая доставленные письма, подтверждённые клики людей или покупки, должна указать именно своё определение. Явное указание показателя также помогает понимать последующие сравнения.
Затем рядом с лидером или равенством укажите момент наблюдения. Добавьте разность 2 показателей, исходные счётчики и количества отправок обоих вариантов. Тогда читатель увидит направление, величину разрыва и зарегистрированную активность за ним, а не будет выводить все 3 характеристики из выделенной строки.
Пример фразы для передачи отчёта: «В [момент наблюдения] текущее положение по [заданному показателю] — [лидирующий вариант или равенство]; разрыв — [значение], в основе — [счётчики и количества отправок]». Скобки — поля для заполнения по реальному отчёту, а не результаты кампаний этого исследования. Отдельным предложением следует зафиксировать выбранное действие и его причину.
Если есть более поздний момент наблюдения, сохраните ранний и покажите, осталось ли лидерство прежним, сменился ли лидер или показатели сравнялись. Это позволяет при ретроспективном разборе отличить известное на тот момент от зафиксированного позже. Включайте и пары с ранним равенством, если отчёт явно не ограничен парами, у которых уже был лидер.
Выбор варианта по-прежнему зависит от цели кампании, ограничений доставки, качества измерения и стоимости каждого решения. Архив не задаёт это правило. Он даёт основание не заменять одним словом «победитель» сразу и наблюдение, и решение.
Сохраняйте наблюдение рядом с решением

Опишите сравнение
Назовите тестируемую переменную, зарегистрированный показатель и момент наблюдения.
Сохраняйте данные вместе
Показывайте лидера или равенство рядом с разрывом и исходными счётчиками.
Отдельно укажите решение
Отделяйте правило решения для кампании от наблюдаемого лидера или равенства.
Раннюю оценку рассылок уже изучали
Предыдущие исследования уже рассматривают результаты email-кампаний как процесс во времени. Работа Bonfrer и Drèze «Real-Time Evaluation of E-mail Campaign Performance», опубликованная онлайн в 2008 году и в журнале Marketing Science в 2009 году, описывает прогнозный метод и схему последовательного принятия решений, оценённые на 25 кампаниях. Общая идея различий между ранними и поздними результатами не нова. [5]
Этот анализ отвечает на более узкий описательный вопрос по другому архиву: как часто зарегистрированный порядок сохранялся, менялся или переходил в равенство среди подходящих пар и какие разрывы сопровождали эти переходы? Он сохраняет видимость ранних равенств и проверяет, меняется ли картина при заранее заданных сроках и весах.
Это различие важно для чтения результатов. Прогнозная модель пытается оценить, что произойдёт дальше при её предположениях. Наши таблицы описывают содержание опубликованных записей на заданных сроках после отправки. Наблюдаемые проценты могут помочь команде объяснять отчёт, но не являются моделью выбора варианта следующей кампании.
Как сравнивали зарегистрированные пары
SendGuard900K содержит 908 229 опубликованных записей кампаний. Описание источника указывает, что это метаданные реальных кампаний за 2022–2024 годы. Мы проверили 6 801 группу, заданную сочетанием ID клиента и ID теста, затем сохранили 5 743 группы с ровно 2 подходящими наблюдаемыми записями частей теста и положительным указанным числом отправок. Записи итоговой массовой отправки исключены из парного сравнения; их наличие не требовалось. [1] [6]
Сохранённые пары охватывают 473 ID клиентов. Ровно 2 подходящие наблюдаемые записи не доказывают, что в каждом исходном эксперименте было настроено только 2 варианта, что архив полон или что аудитории распределялись случайно. Поэтому мы описываем наблюдаемые пары, а не проверенную совокупность полных рандомизированных экспериментов.
Для каждого варианта расчёт использует его счётчик уникальных кликов на 30-й, 60-й или 1 440-й минуте и один и тот же архивный знаменатель указанного числа отправок. Каждый срок отсчитывается от отправки этого варианта. В основной паре варианты не обязаны иметь одно время отправки по часам. Проверка одинаковых меток — отдельное ограничение, а не предположение для каждой пары.
Все необходимые счётчики в подходящих парах были доступны, корректны и неотрицательны; ни один не превышал указанное число отправок. Ни один счётчик не уменьшался между 3 моментами наблюдения. Эти проверки подтверждают арифметику записей, но не устанавливают смысл уникального клика, фильтрацию ботов, доставку или полноту учёта всех последующих откликов поздними наблюдениями. [6]
Мы определяем лидеров и равенства точным сравнением исходных отношений до округления. Разрывы — абсолютные разности зарегистрированных кликов на 100 отправленных писем. Для медиан и остальных квантилей используется правило ближайшего ранга: значения сортируются и выбирается заданный ранг без интерполяции. На графиках проценты округлены до 1 знака после запятой, медианные разрывы — до 3; файл значений графиков сохраняет 6 знаков там, где это применимо.
До изучения исходов методика зафиксировала допустимую структуру, моменты наблюдения, 5 переходов, сводные количества и разрывы, проверки времени и расчёт с равными весами клиентов. Все заданные сводные таблицы остаются в исследовательских материалах, включая нулевые количества и проверки качества. Независимое воспроизведение по источнику дало совпадение всех сводных результатов. Это описательные результаты архива без доверительных интервалов, тестов значимости или утверждения о репрезентативной отраслевой выборке. [7]
- Скачать значения графиков и описание охвата анализа (CSV)
- Скачать все заданные сводные таблицы, методику и код анализа (ZIP)
CSV графиков содержит 31 числовое значение, по 1 на строку данных, из 13 строк, показанных на 3 графиках. ZIP сохраняет все 11 сводных таблиц, проверки источника и код воспроизведения. В нём нет строк отдельных кампаний или идентификаторов клиентов и тестов. Включены переведённые инструкции; для воспроизведения анализа нужен отдельно скачанный исходный файл. В числовых файлах для скачивания десятичный разделитель — точка.
Источники и примечания
- Источник: Bobek, Nalepa, Obara, Suszalski и Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, версия 1.0.0. Источник заявляет метаданные кампаний за 2022–2024 годы и указывает авторские права Freshmail, 2025 год. Анализ использует 5 743 подходящие наблюдаемые пары, а не все 908 229 строк кампаний. Из этих пар 5 647 помечены sender_name, 96 — topic.
- Среди 4 712 строгих лидеров первого часа 3 510 сохранили лидерство, в 991 паре лидер сменился, а в 211 позже установилось равенство: 74,5 %, 21,0 % и 4,5 %. Среди 1 031 пары с ранним равенством в 588 появился строгий лидер, а в 443 равенство сохранилось: 57,0 % и 43,0 %. График 5 переходов вместо этого делит каждое количество на все 5 743 пары. Значения рассчитываются до округления для показа.
- Показатель — счётчик уникальных кликов, делённый на фиксированное указанное число отправок варианта и умноженный на 100. Лидерство и равенство определяются точными отношениями, а не округлённым отображением. Абсолютные разрывы выражены в зарегистрированных кликах на 100 отправленных писем. У пар со сменой лидера поздняя медиана равна 0,109543, 1-й квартиль — 0,024817, 3-й — 0,336215. Все показанные нулевые разрывы в таблице медиан 5 переходов — точные нули.
- В сравнении с 30 минутами есть 4 507 строгих ранних лидеров, включая 1 093 последующие смены. Ограничение по одинаковой зарегистрированной метке времени оставляет 686 пар, включая 560 строгих ранних лидеров и 110 смен. Основной результат с равными весами клиентов усредняет доли смен внутри 403 ID клиентов, имеющих хотя бы 1 строгого раннего лидера. Среднее — 19,227847 %; это не процент от числа клиентов и не оценка для репрезентативной совокупности компаний.
- Bonfrer и Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; опубликовано онлайн 7 октября 2008 года, выпуск 2009 года. Аннотация издателя описывает прогнозный подход split-hazard, 25 кампаний и схему последовательного принятия решений. Это подтверждает историю изучения ранней оценки писем, но не валидирует наши описательные проценты архива.
- Заранее заданный отбор источника сохраняет ровно 2 подходящие наблюдаемые записи частей теста на составную группу клиента и теста, исключая строки итоговой массовой отправки. Публичные поля не позволяют полностью установить, от начала или конца отправки отсчитывается время и какова её длительность. Они также не устанавливают ключ уникальности клика, учёт только действий людей, знаменатели доставленных писем, полную исходную схему распределения в эксперименте или достаточность времени, прошедшего до выгрузки. Корректные неубывающие счётчики не устраняют эти ограничения. Одинаковые зарегистрированные метки отправки не доказывают одновременную доставку.
- SendGuard900K опубликован по лицензии Creative Commons Attribution 4.0 International. Исследовательский пакет содержит код анализа, заданную методику и полученные сводные таблицы; записи отдельных кампаний и идентификаторы клиентов или тестов не распространяются. Для воспроизведения по источнику нужно отдельно скачать исходный файл. Общий пакет включает переведённые инструкции.
Исходная версия статьи написана на английском. Все языковые версии описывают один и тот же исторический архив SendGuard900K, источник которого заявляет записи за 2022–2024 годы. Перевод не делает эти результаты ориентиром для местного рынка или современной отрасли.