邮件 A/B 测试:第 1 小时后发生了什么变化
邮件测试报告显示,一个版本在 1 小时后领先。之后还会领先吗,差距有多大?这份历史档案中,多数领先得以保持,但反转与持平说明,报告中应保留观测时点及具体数值。
Influence IQ 对 SendGuard900K 的分析,来源称其活动记录来自 2022–2024 年。研究覆盖 473 个客户 ID 下的 5,743 个观测邮件对,主要是发件人名称测试。它描述记录中的点击指标,不是仅限真人的点击、收入或有代表性的邮件基准。
摘要
早期邮件 A/B 报告可以确定哪个版本目前领先,却不能确定后续比较如何。在 SendGuard900K 的 4,712 个于 60 分钟时严格领先的观测邮件对中,74.5% 到 1,440 分钟仍保持领先,21.0% 发生反转,4.5% 变为持平。指标为记录的去重点击计数值除以记录中的已发送邮件数,再乘以 100。每个版本使用自身固定的已发送数。来源称记录来自 2022–2024 年;5,743 个符合条件的邮件对中,5,647 个是发件人名称测试。[1]
其余 1,031 个邮件对在第 1 小时持平,其中 57.0% 后来出现严格领先。反转邮件对后续差距的中位数,为每发送 100 封的记录点击数相差 0.110。这些发现支持将发送后时长、领先或持平、差距及计数背景一起报告,无法确定真正赢家、最佳等待期,或延迟正式发送的效果。
假设你正在准备下一轮简报邮件发送。打开 A/B 报告后,你看到一个版本领先,需要告诉同事下一步怎么做。“这个赢了”很快,却跳过了 2 个问题:领先多少,以及何时记录下这个比较?
我们比较了同一邮件对在第 1 小时与 24 小时的记录。多数第 1 小时领先得以保持,完整情况也包括领先反转、领先变持平,以及持平后来拉开差距的情况。在有人据此选择下一轮发送之前,这些路径有助于说明早期报告到底表达了什么。
同一邮件对的 2 个观测时点

多数第 1 小时领先得以保持,但并非全部
60 分钟时,5,743 个符合条件的邮件对中,4,712 个有领先:一个版本的记录点击指标高于另一个。各版本发送后 1,440 分钟,即 24 小时,3,510 个仍是同一版本更高,991 个变为另一版本更高,211 个持平。在最初有领先的邮件对中,分别占 74.5%、21.0% 和 4.5%。[2]
这些比较针对一个特定的记录指标。我们将各版本的去重点击计数值除以其记录中的已发送邮件数,再乘以 100,得到每发送 100 封的记录点击数。只要这一指标较高,就算领先,无论差距多小;这并不说明结果具有统计显著性。
多数领先保持这一点,也应保留在视野内。这份档案没有显示第 1 小时报告通常会被推翻,而是显示保持、反转及后来持平都曾发生。只记录早期排序的报告,会丢失这些后续路径之间的区别。
即使后续排序不同,第 1 小时报告仍可以准确描述当时记录的信息。将反转称为“错误赢家”会多走一步:把后续排序当作真相,并假定早期报告作出了超出“当前领先”的主张。这里保留两次观察。比较展示的是记录排序变化,不是决策系统的错误率。
来源范围也比“邮件 A/B 测试”这个笼统说法更窄。符合条件的邮件对中,5,647 个标为发件人名称,96 个标为主题。因此,发件人名称测试占本分析的 98.3%。这些发现不应被当作邮件标题基准,或对所有邮件平台的估计。
下图以全部 5,743 个邮件对为分母,包括最初持平的 1,031 个,展示每条观察到的路径。991 个反转占全部邮件对的 17.3%,却占早期有领先的 4,712 个邮件对的 21.0%。两个数都正确,只是回答不同问题。
5 条路径涵盖全部 5,743 个观测邮件对
SendGuard900K 中,从各版本发送后 60 分钟到 1,440 分钟的情况,来源将档案时间列为 2022–2024 年。领先指去重点击计数值除以记录中已发送邮件数所得比率更高;持平按精确比率判定。
| 观察到的路径 | 观测邮件对数 | 占全部 5,743 个邮件对的比例(%) |
|---|---|---|
| 早期领先保持 | 3,510 | 61.1% |
| 早期领先反转 | 991 | 17.3% |
| 早期领先变持平 | 211 | 3.7% |
| 早期持平变领先 | 588 | 10.2% |
| 早期持平仍持平 | 443 | 7.7% |
早期持平,是不同的起点
第 1 小时持平的报告,没有领先版本可以保持或反转。档案中,1,031 个早期持平邮件对里,588 个后来有领先,443 个仍持平。前者占早期持平的 57.0%,不应加到反转百分比上,因为起始群体不同。
许多早期持平的记录活动也很少。1,031 个持平邮件对中,655 个的两个第 1 小时去重点击计数值均为 0。其他持平可能有正计数,但比率恰好相等。我们根据底层计数及已发送总数判定相等,不依据图上四舍五入的百分比。[3]
对报告团队,这能区分“记录指标没有领先”与“2 个版本表现相同”。前者是在指定发送后时长的观察,后者则需要这项描述性比较并未提供的证据。部分持平后来拉开差距,不能确定早期应选择哪个版本。
可以用真实档案计数作简短计算,核查分母。用 588 除以 1,031,描述早期持平后来如何变化;用 991 除以 4,712,描述早期领先中的反转。只有问题涉及全部符合条件邮件对时,才将任一计数除以 5,743。报告标题应明确起始群体。
领先版本变化,不说明差距有多大
991 个反转邮件对中,绝对差距中位数在第 1 小时为每发送 100 封的记录点击数相差 0.062,24 小时为 0.110。这些是 2 个版本记录指标之间的差异,不是新增人数、归因购买,或收入百分比变化。[3]
解读差距时,已发送分母很重要。原始点击计数值的差异,不足以比较发送总数不同的版本;必须先将各计数值除以自身记录中的已发送总数。同样,该指标相差 0.110,不应描述成 0.110% 的相对提升:它是每发送 100 封尺度上的绝对差异,并未附加销售价值。
后续差距大小并不相同。反转邮件对中,居中的一半约在每发送 100 封的记录点击数相差 0.025 至 0.336 之间。因此,中位数描述的是该组中的典型位置,不意味着每次反转都很小。排序可以跨越很小的差距而改变,也有一些记录差距大得多。
其他路径提供有用背景。保持领先的邮件对,后续差距中位数为 0.291;从持平变为领先的邮件对为 0.444;后续持平的精确差距则按定义为 0。表格将全部 5 条路径放在一起,而非只强调反转。
早期与后续两列,分别是各行内部独立计算的中位数。它们不追踪一个典型邮件对,将两者相减也不等于各邮件对变化量的中位数。应将它们视为各观测时点的差距汇总;描述比较方向时,应同时使用路径标签及差距大小。
这些组根据两个观测时点发生的情况定义,不能用其中位差距作为提前识别新活动反转的规则。尤其是,反转邮件对较小的早期中位数,并非经过验证、可决定何时能放心依据报告行动的界限。
差距旁也应保留计数背景。全部 4,712 个第 1 小时有领先的邮件对中,2 个版本合计去重点击计数值的中位数为 9;其中 488 个邮件对的合计计数恰好为 1。这描述早期领先者的起始证据,不说明这些特定邮件对造成反转总量,也不说明低计数解释了变化。
5 条观察路径的差距中位数不同
SendGuard900K 中,2 个版本在 60 与 1,440 分钟时,记录点击指标的绝对差异,来源将档案时间列为 2022–2024 年。各指标为去重点击计数值除以记录中的已发送邮件数,再乘以 100。
| 观察到的路径 | 观测邮件对数 | 60 分钟时的差距中位数(每发送 100 封的记录点击数) | 1,440 分钟时的差距中位数(每发送 100 封的记录点击数) |
|---|---|---|---|
| 早期领先保持 | 3,510 | 0.175 | 0.291 |
| 早期领先反转 | 991 | 0.062 | 0.110 |
| 早期领先变持平 | 211 | 0.295 | 0.000 |
| 早期持平变领先 | 588 | 0.000 | 0.444 |
| 早期持平仍持平 | 443 | 0.000 | 0.000 |
检查时点与客户构成后,什么发生了变化
我们在计算结果前固定了额外比较。若从 30 分钟而非 60 分钟开始,早期有领先的邮件对为 4,507 个,其中 24.3% 在 1,440 分钟时反转。第 1 小时结果则是 4,712 个有领先邮件对中的 21.0%。分母不同很重要:有些邮件对在一个时点持平,在另一个时点领先。[4]
这不能证明多等 30 分钟能避免某个比例的错误决定。2 项计算描述不同发送后时长的观察排序,没有随机分配等待策略,也未评估正式发送决定的后果。
我们还将第 1 小时比较限制为 2 个版本发送时间戳记录相同的 686 个邮件对。其中 560 个早期有领先,19.6% 后来反转。这项检查减少了记录数据中的 1 项时点差异。时间戳相同,不能证明同时送达或受众接触相同。
有些客户 ID 贡献的邮件对远多于其他 ID。主计算给予每个邮件对相同权重。另一项检查先在至少有 1 个第 1 小时领先邮件对的 403 个客户 ID 内,计算各自反转比例,再给予每个 ID 相同权重,平均为 19.2%。这描述其反转比例的平均值,不是经历反转的客户百分比。[4]
这些固定检查共同保留了实际问题:观察到的早期领先,可能保持、反转或变为持平。它们不产生通用的反转概率。档案在同一客户 ID 内有重复记录,这些 ID 也不是经验证、相互独立企业的样本。
3 项固定比较下的反转比例
SendGuard900K 中,来源将档案时间列为 2022–2024 年,每个百分比均以早期时点严格领先的邮件对为分母,计算后续反转。后续时点始终是各版本发送后 1,440 分钟。
| 比较 | 早期严格领先的邮件对 | 早期严格领先中,后续反转的比例(%) |
|---|---|---|
| 60 至 1,440 分钟:全部符合条件邮件对 | 4,712 | 21.0% |
| 30 至 1,440 分钟:全部符合条件邮件对 | 4,507 | 24.3% |
| 60 至 1,440 分钟:发送时间戳记录相同 | 560 | 19.6% |
给下一轮发送决策者的,不应只有赢家标签
有用的报告从待作的决定开始。接收者是在选择下一轮发送、记录已完成测试,还是为规划会议审核过往测试?第 1 小时观察对每项任务都可能相关,但为其中一项准备的报告,可能缺少另一项所需的信息。
先写明测试变量与指标,再指出领先者。这里应写发件人名称或主题,以及每 100 封已发送邮件的去重点击计数值;发送分母采用记录值。如果团队采用已送达邮件、经验证的真人点击或购买,就应说明相应定义。保留指标,也让后续比较更容易解读。
接着,将观测时点放在领先或持平状态旁,并列出 2 个指标的差异、两个版本各自的底层计数值及发送总数。读者就能看到方向、差距及背后的记录活动,不必从高亮行推断全部 3 项。
交接句示例可以写:“在[观测时点],[版本或持平]描述[已定义指标]的当前排序;差距为[数值],依据是[计数值与发送总数]。”方括号是从真实报告填写的字段,不是本研究的活动结果。另用一句记录所选行动及理由。
如有后续观测时点,应保留早期观察,并展示领先是否保持、反转或变持平。这样,回顾审核可区分当时已知信息与后来记录的信息。也应纳入最初持平的邮件对,除非报告明确只涉及本来就有领先的邮件对。
选择版本仍取决于活动目标、投递限制、测量质量及任一选择的成本。档案不制定这条规则,只提供一个有用理由:避免让“赢家”一词同时代替观察与决定。
早期邮件评估,是已有的研究问题
先前研究已经将邮件表现视为随时间展开的过程。Bonfrer 与 Drèze 的“Real-Time Evaluation of E-mail Campaign Performance”于 2008 年在线发表,2009 年刊于《Marketing Science》,描述一种预测方法及序贯决策框架,并在 25 项活动上评估。早期与后续结果可能不同,并不是新观点。[5]
本分析利用另一份档案,回答更具体的描述性问题:符合条件的邮件对中,记录排序有多大比例保持、反转或持平,各条路径伴随多大差距?它保留早期持平,并检查固定的时点及权重选择是否改变整体描述。
解读发现时,这一区别很重要。预测模型试图在自身假设下估计接下来会怎样;我们的表格描述发布记录在指定发送后时长包含什么。观察百分比可以帮助团队说明报告,却不是选择下一项活动版本的模型。
如何比较记录中的邮件对
SendGuard900K 包含 908,229 条已发布活动记录,来源说明称其为 2022–2024 年生产环境元数据。我们筛查以客户 ID 与测试 ID 组合识别的 6,801 个组,再保留恰有 2 条符合条件的观测测试部分记录、且记录中的已发送数为正的 5,743 个组。最终正式发送记录不纳入邮件对比较,也不要求这类记录必须存在。[1][6]
保留邮件对覆盖 473 个客户 ID。恰有 2 条符合条件的观测记录,不证明每个原始实验只配置了 2 个版本、档案完整,或受众随机分配。因此,我们描述的是观测邮件对,而非经核实的一组完整随机实验。
每个版本的计算,使用发送后 30、60 或 1,440 分钟的去重点击计数值;分母始终为该版本归档记录中的同一已发送邮件数。每个时点都相对于该版本自身发送时间衡量。主要邮件对的两个版本,不必在同一个实际时刻发送。同时间戳检查是另加限制,并非对每个邮件对都作的假设。
符合条件邮件对的全部必需计数值均可用、有效且非负,没有超过自身记录中的已发送数,也没有在 3 个时点间下降。这些检查支持记录中的算术计算,却不能确定去重点击含义、机器人过滤、送达情况,或后续观察是否包含全部最终响应。[6]
我们在四舍五入之前,精确比较底层比率以确定领先与持平。差距是每发送 100 封的记录点击数的绝对差异。中位数及其他分位数采用最近秩规则:排序后选择指定秩,不插值。图中百分比保留 1 位小数,中位差距保留 3 位;图表下载在适用处保留 6 位小数。
方法在读取结果之前,固定了纳入结构、观测时点、5 条路径、计数及差距汇总、时点检查与客户等权计算。全部固定汇总表保留在研究下载中,包括零计数及质量检查。独立来源复现与完整汇总输出一致。这些是描述性档案结果,不附置信区间、显著性检验,也不声称具有代表性的行业抽样。[7]
图表 CSV 包含 31 个数值,每行数据 1 个,来自 3 张图展示的 13 行。ZIP 保留全部 11 张汇总表、来源检查及复现代码,不含活动级行或客户/测试标识符。附有说明译文;复现分析需另行下载来源文件。下载文件中的数值使用小数点。
来源与注释
- 来源:Bobek、Nalepa、Obara、Suszalski 与 Bałec,SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing,版本 1.0.0。来源称活动元数据来自 2022–2024 年,版权归 Freshmail,2025 年。本分析使用 5,743 个符合条件的观测邮件对,并非全部 908,229 行活动记录。其中 5,647 个邮件对标为 sender_name,96 个标为 topic。
- 4,712 个第 1 小时严格领先邮件对中,3,510 个保持、991 个反转、211 个后来持平,分别占 74.5%、21.0% 和 4.5%。1,031 个早期持平邮件对中,588 个变为严格领先、443 个仍持平,分别占 57.0% 和 43.0%。5 路径图则将每个计数除以全部 5,743 个邮件对。数值均在展示四舍五入前计算。
- 指标为去重点击计数值除以该版本记录中固定的已发送数,再乘以 100。领先与持平按精确比率分类,不按四舍五入展示值。绝对差距的单位是每发送 100 封的记录点击数。反转邮件对的后续中位数为 0.109543,第 1 与第 3 四分位数为 0.024817 和 0.336215。5 路径中位数表中展示的所有差距零值,均为精确零值。
- 30 分钟比较包含 4,507 个早期严格领先邮件对,其中 1,093 个后来反转。发送时间戳记录相同的限制组有 686 个邮件对,其中 560 个早期严格领先、110 个反转。客户等权主要结果,对至少有 1 个早期严格领先邮件对的 403 个客户 ID,各自的反转比例取平均,均值为 19.227847%。它既不是客户人数百分比,也不是有代表性的企业估计。
- Bonfrer 与 Drèze,Real-Time Evaluation of E-mail Campaign Performance,《Marketing Science》28(2),251–263 页;2008 年 10 月 7 日在线发表,2009 年见刊。发布方摘要描述一种预测性的 split-hazard 方法、25 项活动及序贯决策框架。它支持早期邮件评估的既有研究背景,不验证我们的描述性档案百分比。
- 固定来源筛查,在每个客户/测试组合组内恰好保留 2 条符合条件的观测测试部分记录,排除最终正式发送行。公开字段不能完整确定发送时钟的起止约定或发送时长、点击去重键、仅限真人的活动、已送达邮件分母、完整原实验分配,或提取数据是否已充分覆盖后续结果。计数值有效且不下降,并不能解决这些局限。发送时间戳记录相同,不证明同时送达。
- SendGuard900K 采用 Creative Commons Attribution 4.0 International 许可发布。研究包包含分析代码、固定方法及派生汇总表,不重新分发活动级记录或客户/测试标识符。从来源复现,需另行下载原始文件。共享包附有说明译文。
这篇英文文章为来源版本。全部语言版本描述同一历史 SendGuard900K 档案,来源称记录来自 2022–2024 年。翻译不会使结果变成本地市场或当前行业基准。
