多变量测试:创意测试能告诉你什么
同时更换标题和图片,可以帮助你选出完整创意方案。要了解每种元素的作用,需要采用不同的比较方式。Upworthy 的历史实验设计说明,即使缺少部分组合,仍可能保留不少比较机会。
Influence IQ 分析了 Upworthy Research Archive 的探索性子集,涵盖 2013 年初至 2015 年 4 月的网站实验。主要比较包括 188 项符合条件、同时改变标题文本和图片 ID 的测试。本研究盘点的是实验设计,并未分析点击量或营销活动表现。
摘要
不完整的多变量设计,仍可能保留单独比较标题或图片的机会。在 188 项同时改变标题文本和图片 ID、且符合条件的 Upworthy 测试中,31 项包含所有组合。其余 157 项中,150 项至少包含 1 组固定标题或图片的比较;75 项同时包含这两类比较。这些计数描述的是设计中有哪些组合,并不说明测试的效果分析结果是否可靠或有用。[1]
研究采用 2013 年初至 2015 年 4 月网站实验的历史探索性子集,要求摘录文本保持一致,并在主要分析范围中排除了文献记载的、可能存在分配问题的时期。纳入该时期后,总体结论相同:199 项不完整设计中,180 项至少保留 1 组这样的比较。对企业和创作者而言,实际选择是让组合与问题相匹配:是挑选完整创意方案、比较 1 种元素,还是考察 2 种元素如何共同作用。
你的团队准备好了营销活动的 2 个版本。一个版本用产品图片搭配直接的标题;另一个版本换了图片,也换成更像日常对话的标题。如果其中一个表现更好,你能从中了解什么?
妥善开展的比较,可以帮助你在这些完整版本中做出选择。但仅凭这项比较,无法判断是哪一处改动造成了差异。多变量测试会在一组组合中改变不止 1 种元素。首先应问:你希望借助这些组合做出什么决定?
版本数量本身回答不了这个问题。4 个标题版本搭配 1 张图片,能让团队比较这一情境下的标题。2 个标题搭配 2 张图片,如果包含所有搭配,也会得到 4 套方案,但它们允许开展的比较不同。在测试前写出各项搭配,就能看清这个区别。
完整创意方案包含多项选择

不完整设计往往仍保留有用的比较
我们逐项查看了 Upworthy 网站测试中的标题与图片组合。在符合主要范围规则的 3,212 项测试中,188 项同时改变了这两种元素。其余测试大多只改变其中一种。每项测试独立处理,无论可能有多少人看过,都只计数 1 次。[2]
188 项中,只有 31 项包含该测试所记录标题与图片 ID 的所有组合。其余 157 项的组合表均不完整。乍看之下,这似乎限制很大,但还要看表中保留了哪些比较。这 157 项设计中,75 项既能在图片相同的情况下比较标题,也能在标题相同的情况下比较图片;另有 30 项只有前一类比较,45 项只有后一类,两类都没有的有 7 项。
合计来看,157 项不完整设计中有 150 项,也就是 95.5%,至少保留了 1 种固定另一元素、比较某一元素的方式。这并不能证明任何一组比较拥有足够流量、可靠的分配或有实际意义的结果。但它确实说明,不能仅凭“没有测试所有组合”就笼统地否定一项设计。
下表同时列出完整和不完整设计。在全部 188 项中,106 项有两类比较,30 项只有标题比较,45 项只有图片比较,7 项两类都没有。“两类都有”是指每类至少有 1 组,并不意味着每个标题或每张图片都能在相同条件下比较。
原始存档论文已经解释过,编辑常常在没有测试所有可能组合的情况下选择整套方案。我们补充的是一份清单,盘点这些选择留下了哪些比较机会。我们无法还原每位编辑的目标,也无法判断某项设计是否达到了该目标。[1]
同时改变两种元素的设计,大多仍可比较某个组成部分
188 项符合条件的 Upworthy 历史测试同时改变了标题文本与图片 ID,摘录文本保持一致,并遵循指定日期限制。每项测试的权重相同。
| 设计中存在的比较 | 测试数 | 占 188 项测试的比例 |
|---|---|---|
| 标题比较与图片比较都有 | 106 | 56.4% |
| 只有标题比较 | 30 | 16.0% |
| 只有图片比较 | 45 | 23.9% |
| 两类单元素比较都没有 | 7 | 3.7% |
3 种设计回答不同的问题
设想一家陶艺工作室正在推广周末课程。它有 2 个标题:A,“亲手做出你的第一个陶碗”;B,“周六来体验陶艺拉坯”。图片 1 展示做好的碗,图片 2 展示拉坯机。这些只是用于说明的选择,不是 Upworthy 的案例,也不是测得的营销活动结果。在考虑 3 种可能的设计时,所推广的内容与其他展示文案均保持不变。
第一种是完整组合表:A 配图片 1、A 配图片 2、B 配图片 1、B 配图片 2。团队可以先固定图片 1 比较标题,再使用图片 2 做同样的标题比较;也可以分别在每个标题下比较图片。4 个单元格提供了这些机会,却不能说明每个单元格会收集到多少证据。
第二种是不完整组合表:A 配图片 1、B 配图片 1、B 配图片 2,缺少 A 配图片 2。团队可以固定图片 1 来比较 A 和 B,也可以另行固定标题 B 来比较图片。缺失的单元格并不会抹去这 2 组比较。
不过,不完整组合表无法通过直接比较 4 个单元格来回答另一个问题:换成图片 2 后,A 与 B 的差异是否仍然相同?因为没有 A 配图片 2 的结果可用。团队也不能只从观察到的 3 套方案中挑选,就确定全部 4 种可能方案中哪一种最好。未经测试的方案可能表现不同。
第三种是对角线设计,只包含 A 配图片 1 和 B 配图片 2。这 2 套方案之间,没有哪一种元素保持不变。有效的测试仍可支持团队在这 2 个完整版本中做出选择,但仅凭这组比较,无法分别识别标题或图片的贡献。
这些设计没有一种在所有情况下都最好。如果工作室必须为一次具体推广从 2 个已批准的创意概念中选一个,比较整套方案可能正合适。如果它想把同一个标题用于不同图片,就需要能支持这一更广泛选择的证据。只有能回答团队实际问题的新增组合,才有理由纳入设计。[3]
3 种示例设计包含不同的组合
虚构的陶艺工作室示例包含 2 个标题 A、B,以及 2 张图片 1、2。这些单元格用于说明设计,并非存档中的观察记录。
| 标题与图片组合 | 完整组合表 | 不完整组合表 | 对角线设计 |
|---|---|---|---|
| 标题 A + 图片 1 | 1 | 1 | 1 |
| 标题 A + 图片 2 | 1 | 0 | 0 |
| 标题 B + 图片 1 | 1 | 1 | 0 |
| 标题 B + 图片 2 | 1 | 1 | 1 |
两个方向都能比较,不等于完整的 2×2 测试
存档数据清楚地体现了这个区别。106 项同时包含两类比较的设计中,有 74 项连 1 个完整的“2 个标题 × 2 张图片”矩形都没有。因此,一项设计可以在某处提供标题比较、在另一处提供图片比较,却没有直接比较这两组差异所需的 4 个单元格。
再看工作室的不完整组合表。固定图片 1 比较 A 和 B,是一个问题;固定标题 B 比较图片 1 和图片 2,是另一个问题。两者都无法告诉我们:当图片改变时,标题之间的差异本身是否也会变化。这个第三个问题涉及交互作用,也就是某一元素与响应之间的关系,是否取决于另一种元素。
在这 188 项设计中,32 项至少包含 1 个完整矩形,其中包括全部 31 项完整组合表,以及 1 项规模更大的不完整组合表。这样的矩形为直接构造交互作用对比提供了条件,但并不说明交互作用确实存在。在其他设计或建模假设下,研究交互作用也可能采用别的依据。
对营销团队来说,应先在简报里讲清这个区别,再考虑统计模型。“用这张图片比较这 2 个标题”,比“找到能搭配我们各种图片的标题”范围更窄。回答第一个问题的结果,不应悄然被当成第二个问题的答案。
扩大日期范围后,规划启示仍然相同
主要盘点排除了创建日期跨度与 2013 年 6 月 25 日至 2014 年 1 月 10 日重叠的测试。存档研究人员指出,该时期可能存在分配问题。这些疑虑会影响因果研究,但并不意味着组合记录无法用于结构盘点。因此,我们也把该时期纳入,重新做了比较。[4]
扩大后的范围包含 239 项同时改变两种元素的测试,40 项包含所有组合,199 项不完整。在这些不完整设计中,180 项,也就是 90.5%,至少保留 1 组固定其中 1 种元素的比较;93 项,也就是 46.7%,两类比较都有。主要范围中对应的比例是 95.5% 和 47.8%。具体比例有所变化,但不完整设计仍普遍保留某种具体比较。
我们还检查了文本处理方式的影响。主分析对标题和摘录字符串做精确比较。去除首尾空白、将连续空白合并后,同时改变两种元素的测试有 189 项,其中 31 项为完整组合表,108 项有两类比较,32 项包含完整矩形。由于这项检查改变了哪些设计符合条件,其计数采用单独的分母。[5]
3 个分析范围的覆盖率中位数均为 50%。覆盖率的计算方法是:某项测试中观察到的标题与图片组合数,除以根据该测试所记录标题和图片 ID 可构成的组合数。中位数只是描述值,不是质量评分。缺失的组合可能无关、不合适,或不在编辑原本想比较的范围内;存档无法确定它为何被省略。
改变范围后,覆盖率与比较机会仍有区别
各列均为测试计数,每行采用各自同时改变两种元素的测试数作为分母。文本处理检查保留主要日期限制;全时期检查保留精确文本处理方式。
| 分析范围 | 同时改变两种元素的测试数 | 完整组合表数 | 两类比较都有 | 至少含 1 个完整 2×2 |
|---|---|---|---|---|
| 主要范围:精确文本、日期限制 | 188 | 31 | 106 | 32 |
| 空白归一化文本、日期限制 | 189 | 31 | 108 | 32 |
| 精确文本、纳入所有时期 | 239 | 40 | 133 | 42 |
围绕要做的决定,编写下一次测试简报
对陶艺工作室而言,首先要决定测试后会做什么:是选出一个完整的课程推广方案,保留 1 张图片并修改标题,还是把一个标题沿用到今后的多种设计?不同决定需要不同的比较。组合表更大,并不自动意味着团队的投入更值得。
如果要选择完整方案,就列出这些方案,不要承诺能解释每个组成部分的作用。如果要选择标题,就明确哪张图片保持不变。如果团队要考察标题之间的差异是否会随 2 张图片而变化,就应纳入相关的 4 种组合,或采用有充分依据的替代设计。这应与选择响应指标、分配方式和观察期分别考虑。
增加组合前,先检查搭配是否合理。围绕某项推广内容写的标题,可能只适合 1 张产品图片。为了填满表格而强行搭配,会改变任务本身。团队可以缩小问题范围,或制作能够合理配对的版本。完整组合表的价值在于其中的比较能服务于决策,而不在于填满的表格看起来更周全。
可用以下字段写一份简短的规划简报。方括号内的内容留给你自己的营销活动填写,并非本研究的发现。
测试后的决策:[选择完整方案;在指定情境中比较某一明确元素;考察指定的元素组合]。
元素与版本:[准确的标题文本;图片文件或稳定的 ID;其他会变化的内容]。
纳入的方案:[实际会展示的标题与图片配对]。
需要的比较:[哪些配对固定了一种元素;如涉及交互作用,哪 4 个单元格支持这一问题]。
证据计划:[响应指标;受众与分配方式;曝光条件;预定的观察安排与评估规则]。
结论边界:[设计能够支持什么;哪些未经测试的组合或情境仍不在决策范围内]。
例如,采用 3 个单元格的不完整设计时,工作室可以这样写:“我们会固定图片 1 比较标题,并固定标题 B 比较图片。我们不会测试标题 A 与图片 2 的搭配。”这句话保留了 2 个有用的问题,也明确指出缺少的比较,无须因此断言设计不合格。
创作者为客户准备内容时,也可以用这个区别来讨论修改后的缩略图与标题。关键在于客户想选择哪个版本或哪种元素。不过,我们的计数来自一家出版机构的网站,不能据此确定当前社交平台如何分配或衡量创意变体。
这份设计清单是如何建立的
数据来源是 Upworthy Research Archive 公开发布的探索性文件,J. Nathan Matias、Kevin Munger、Marianne Aubin Le Quere 和 Charles Ebersole 对其作过介绍。文件来自 2013–2015 年的历史存档,包含 22,666 行方案记录,分属 4,873 项测试。我们使用了标题、图片标识符、摘录、测试标识符、创建时间戳与存档行索引,未使用点击量、展示量或编辑的选择结果。[1] [6]
在最终设计盘点方案确定前,我们先做了结构可行性检查,并据此形成研究问题。因此,这是一项探索性再分析,并非预注册的验证性研究。既定规则保留结构字段可用的测试,执行主要日期限制,并要求每项测试内各套方案的摘录文本完全相同。由于论文与存档文档对该字段是否曾展示存在分歧,固定摘录文本是一项保守限制。[6]
筛选表先列出逐步排除的情况,再列出符合条件测试的分类。5 项测试缺少标题或图片 ID;随后,1,050 项不符合日期范围规则,606 项的摘录存在变化。保留的 3,212 项测试中,1,624 项只改变标题,1,078 项只改变图片 ID,188 项两者都改变,322 项只有 1 种观察到的组合。最后一类仍可能包含多行源记录。
在同一项测试内,完全相同的标题与图片配对即使重复出现,也只算 1 个设计单元格。188 项同时改变两种元素的测试中,有 5 项包含重复单元格。完整组合表是指包含该测试观察到的标题字符串与图片 ID 的全部配对。不同字符串未必表达不同想法,不同图片 ID 也未必对应肉眼可见的不同图片;原图片文件无法获取。
结果对每项设计等权计数,不按人数、展示量或企业数计数。它们不能说明当今的营销实践、效果或统计功效。下载文件提供汇总结果和复现方法,包括两项范围检查,便于读者检查“观察到的组合”与“据此得出的结论”之间的区别。[7]
主要比较取自 3,212 项合格测试中的 188 项
从公开探索性文件的 4,873 项测试中筛选。排除条件按所示顺序依次应用。最后的 4 类设计完整划分了 3,212 项符合条件的测试。
查看筛选阶段与全部合格类别
| 筛选阶段或合格设计类别 | 测试数 |
|---|---|
| 起始探索性测试 | 4,873 |
| 排除:缺少标题或图片 ID | 5 |
| 排除:创建日期跨度与指定区间重叠 | 1,050 |
| 随后排除:摘录文本有变化 | 606 |
| 排除后符合条件的测试 | 3,212 |
| 符合条件:标题变化,图片固定 | 1,624 |
| 符合条件:图片变化,标题固定 | 1,078 |
| 符合条件:标题和图片都变化 | 188 |
| 符合条件:1 种观察到的组合 | 322 |
CSV 包含 4 幅图表的 41 个数值,示例设计单元格与观察到的计数、占比分开标注。ZIP 包含汇总结果、结构性测试记录和分析代码。随附复现说明译文;原始公开存档需另行下载。这些下载文件不含点击量或展示量结果。
来源与注释
- Matias, J. Nathan;Munger, Kevin;Aubin Le Quere, Marianne;Ebersole, Charles(2021),《The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media》(《Upworthy Research Archive:美国媒体 32,487 次实验的时间序列》),Scientific Data 8,195。DOI:10.1038/s41597-021-00934-7。Influence IQ 的分析使用探索性子集及修正后的数据来源说明。原论文以定性方式解释了编辑经常不测试所有标题与图片组合的情况。
- 主要范围中同时改变两种元素的分母为 188 项测试,其中完整组合表 31 项,不完整的 157 项。不完整组中,75 项两类比较都有,30 项只有标题比较,45 项只有图片比较,7 项两类都没有。因此,150/157 = 95.5% 至少保留 1 类比较。这里的“比较”指结构上存在的机会,并非估计的效应,也不代表实验已经核实有效。
- 工作室的 3 种设计均为示例。完整的 2 因素、2 水平设计包含全部 4 种组合。不完整示例缺少 A 配图片 2;对角线示例只保留 A 配图片 1 和 B 配图片 2。仅有 4 个单元格,并不能证明分配质量合格、样本量足够或存在有实际意义的交互作用。NIST 手册解释了全因子设计及其组合。
- 存档于 2024 年 6 月发布的更正指出,2013 年 6 月 25 日至 2014 年 1 月 10 日可能存在随机化问题,并不建议用该时期开展因果研究;更正明确保留了其他研究用途。主分析排除创建日期跨度与该区间有交集的所有测试;时间戳不能证明曝光日期,其时区也未知。全时期的结构检查则保留这些记录。
- 空白敏感性检查会去除标题和摘录文本的首尾空白,并合并内部连续空白,保留大小写与标点。8 项测试因此符合条件;原本就符合条件的 1 项测试,其结构分类发生变化。分母会重新计算,不会固定为 188。主要范围、空白处理范围和全时期范围中,同时改变两种元素的测试分别为 188、189 和 239 项。
- 固定使用的探索性 CSV 为 upworthy-archive-exploratory-packages-03.12.2020.csv,OSF 文件版本 1,大小为 14,260,949 字节。其 SHA-256 为 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce。该文件没有更新后的问题标记,因此日期限制需另行推导。论文称摘录文本曾被展示;存档文档则将它列为据信未曾展示的字段之一。固定摘录文本,可以避免把差异归因于这个存在争议的字段。
- 康奈尔大学以知识共享署名 4.0 国际许可协议发布 Upworthy Research Archive 及相关代码和文档。Influence IQ 提供这份衍生的结构分析,并不意味着得到 Upworthy 或存档作者的认可。分析包包含汇总输出、结构性测试记录、代码和复现说明译文。原始公开数据需另行从存档获取。
本文译自英文原版。各语言版本描述的都是同一份 Upworthy 历史探索性子集,以及相同的示例设计。翻译并不会使这些发现成为本地市场或当前平台的基准。
