点击率与转化率:比较同一批记录

对 55,357 条历史众筹记录的再分析显示,将点击与投资标记关联起来,而非分别查看总数,会带来什么变化。

对 Hornuf 与 Siemroth 于 2023 年发布的 bettervest 简报邮件公开数据集所作的原创再分析。

摘要

点击率与结果发生率描述不同动作。理解两者关系,需要检查哪些记录同时包含两者。我们再分析了 2023 年发表的一项德国众筹实验中的 55,357 条收件人—简报邮件记录。611 条有项目投资标记的记录中,327 条也有邮件点击标记,占 53.52%;其余 284 条,即 46.48%,没有点击标记。

结果为企业和创作者提供一个具体理由:检查活动报告总数背后的重叠。它不说明跟踪失败,也不说明邮件导致投资。发布记录未能确定事件顺序或共同测量窗口。我们展示完整的 4 种组合、全部 10 封简报邮件,以及一份模板,帮助企业在解读漏斗之前,先定义自身的关联测量。

设想一位创作者正在审核工作坊上新活动。一份报告显示简报邮件点击,另一份显示报名。两个总数都真实,但并列摆放,不能告诉创作者多少报名来自点击过的人。

缺少的计算是重叠。重叠可大可小,2 个主要总数无法决定它。一份公开众筹数据集,让我们能用真实记录演示计算,同时将实际问题与数据无法支持的主张分开。

2 个总数,需要关联

带指针的信封及带勾的结果标记,分别位于 2 个重叠色块中。成对物件位于交集,两个色块之外有中性形状。
记录动作重叠的概念插图。物件及数量仅作示意;数据表包含研究测得的计数。

点击率与转化率有什么区别?

点击率报告点击数相对于指定点击机会的比例;转化率报告已定义结果相对于指定基数的比例。基数可能是广告展示、已送达消息、访问、点击者,或其他符合条件的组,取决于报告。有用的比较,应先写明动作及其分母。

例如,“点击过的人中的报名”与“所有已发送消息对象中的报名”,问的是不同问题。报告可以采用任一定义,但标签必须让读者知道具体含义。一次点击,也不同于一个点击过的独立个人;重复事件可能改变总数。

本研究的共同基数,是发布数据集中的一条收件人—简报邮件记录。我们统计该记录是否有点击标记,以及是否有投资标记。我们没有已送达消息分母或带时间戳的顺序,因此称它们为记录中的发生率及重叠比例。

企业决定应改消息、产品服务还是测量时,这一区别很有用。2 个独立总数无法识别某个人停在哪一步。关联符合条件的记录,是迈向答案的一步;确定事件顺序与时间,则是另一步。

众筹数据集衡量了什么?

研究者 Lars Hornuf 与 Christoph Siemroth 和德国债务众筹平台 bettervest 合作,在实验中比较通过简报邮件描述 10 个投资项目的不同方式。发布数据集包含 55,357 条收件人—简报邮件记录及 7,864 个收件人代码。同一收件人最多可出现在 10 封邮件中。[1][2]

作者记录收件人是否点击邮件中的唯一项目链接,以及是否向该项目投入正金额。每项结果保存为“是/否”标记。投资标记不是交易次数、购买金额或已完成电商销售的指标。

原论文检验简报邮件表述方式的效果。我们的再分析问另一个问题:同一收件人、同一封邮件的 2 项记录结果有多少重叠?我们合并全部 3 个原始处理组,保留完整发布样本,不重新估计表述方式的效果。

这些是特定众筹平台的历史记录,于 2023 年发布。审阅材料未能确定共同观察窗口或点击与投资的顺序。因此,研究提供的是测量示例,不是当前邮件营销转化率基准。

点击与投资有多大比例同时出现?

55,357 条记录中,327 条同时有点击及投资记录。另有 1,499 条有点击但无投资标记,284 条有投资但无点击标记,53,247 条两者都无。表格保留全部 4 种可能。

完整文件中,1,826 条记录有点击标记,占 3.30%;611 条有投资标记,占 1.10%。这是 2 项边际发生率,说明各标记有多常见,却不说明它们有多大比例属于同一条记录。

完整的点击—投资重叠

bettervest 历史发布中的全部 55,357 条收件人—简报邮件记录,发布于 2023 年。

完整的点击—投资重叠
记录组合记录数占全部记录的比例
点击与投资3270.59%
仅点击1,4992.71%
仅投资2840.51%
两种标记都无53,24796.19%
每条记录权重相同。标记表示记录中的动作,不表示顺序或原因。各类别覆盖全部情况且互不重叠。

611 条有投资标记的记录中,327 条也有点击标记,占 53.52%;其余 46.48% 无点击记录。反过来问,分母就改变了:1,826 条有点击标记的记录中,327 条也有投资标记,占 17.91%。

两个百分比都正确,因为回答不同问题。第一个从投资记录出发问点击,第二个从点击记录出发问投资。两者都不应被当作点击导致后来投资的概率。

起始组不同,答案也不同

历史来源记录:611 个投资标记及 1,826 个点击标记。

起始组不同,答案也不同
问题匹配记录数基数记录数占指定基数的比例
投资记录中有点击32761153.52%
投资记录中无点击28461146.48%
点击记录中有投资3271,82617.91%
每个百分比都写明基数。这些是记录重叠,不是后续动作概率或归因转化。前 2 行划分同样的 611 条记录。

只有投资的记录,不能解释自身历史。它不能告诉我们此人绕过了邮件、跟踪器漏掉事件,或另一渠道导致了投资。这些解释需要有关采集、时点及其他活动的证据,而本次发布并未提供。

对活动负责人,直接启示更具体也更实用:在独立总数旁保留匹配计数。业务问题涉及两项行动都采取过的人时,交集是答案的一部分。用 2 个未匹配总数相除,不能替代它。

每封简报邮件的重叠都一样吗?

10 封来源简报邮件的重叠不同。有投资标记的记录中,同时有点击标记的比例为 29.55% 至 78.43%。我们展示每一封,避免任何一个端点代替完整研究。

下方邮件编号为来源代码,不是时间顺序或排名。最小投资基数为 31 条记录,最大为 118 条。引用小基数上的大百分比时,应始终附上基数。

双向重叠及各自基数

全部 10 封历史简报邮件;下表列出完整底层计数。

双向重叠及各自基数
来源简报邮件投资记录中有点击的比例投资记录数点击记录中有投资的比例点击记录数
简报邮件 178.43%5112.08%331
简报邮件 244.44%3612.21%131
简报邮件 335.29%346.70%179
简报邮件 429.55%448.90%146
简报邮件 541.27%6315.95%163
简报邮件 662.75%5123.36%137
简报邮件 761.29%3114.07%135
简报邮件 860.87%6931.58%133
简报邮件 950.00%11831.38%188
简报邮件 1059.65%11424.03%283
第一个比例以两种标记都有的记录数除以投资记录数;第二个除以点击记录数。仅作描述性比较,不声称哪封邮件最佳或差异显著。

下方完整计数使比较可供核查。对任一邮件,将“两者都有”与“仅投资”相加,得到投资基数;将“两者都有”与“仅点击”相加,得到点击基数。全部 4 个单元相加,等于该邮件总数。

每封邮件中的全部 4 种结果

全部 10 封来源简报邮件,按原生代码排序。

每封邮件中的全部 4 种结果
来源简报邮件两者都有仅点击仅投资两者都无全部记录
简报邮件 140291115,2385,580
简报邮件 216115205,5155,666
简报邮件 312167225,3255,526
简报邮件 413133315,4325,609
简报邮件 526137375,3775,577
简报邮件 632105195,1965,352
简报邮件 719116125,1015,248
简报邮件 84291275,1825,342
简报邮件 959129595,1825,429
简报邮件 1068215465,6996,028
代码不表示时间顺序或表现排名。每行 4 种结果计数相加,等于该行总数;收件人可出现在不同邮件中。

这种差异不能确定最佳邮件创意。项目不同,同一收件人可能重复出现,新分析也合并了原始处理组。不对各封邮件作显著性检验,也不声称某个项目导致更强重叠。

有多项活动的企业,应在合并报告旁保留活动细节。决定如何改变某项活动时,先看该活动自身的行及计数;跨活动报告时,保留合并表格。不要看过结果后,再挑有利的活动。

每个收件人权重相同时,会有什么变化?

主比较给予每条收件人—简报邮件记录相同权重。因此,出现在 10 封邮件中的收件人贡献 10 条记录,只出现一次的贡献 1 条。这适合描述发布记录,但并非唯一的汇总方式。

作为预先指定的次要比较,我们给予每个收件人代码总权重 1。出现在 10 封邮件中的人,每条记录贡献 1/10;只出现一次的人贡献 1。这样,每个收件人代码的总权重相同,但不使样本具有某国或市场的代表性。

在这种加权下,投资权重中 51.69% 也有点击标记,主分析为 53.52%;反向比例为 19.12%,主分析为 17.91%。我们保留两种汇总。次要汇总描述不同目标,并非因为结果更好而选用的校正。

同一完整文件的 2 种加权方式

主分析:每条收件人—简报邮件记录等权。次要分析:每个收件人代码的总权重相同。

同一完整文件的 2 种加权方式
加权方式投资标记记录中的点击比例投资标记记录中的无点击比例点击标记记录中的投资比例记录点击率记录投资率
记录等权(主分析)53.52%46.48%17.91%3.30%1.10%
收件人等权(次要分析)51.69%48.31%19.12%4.02%1.49%
前 3 列使用所写明的结果基数,后 2 列使用全部记录或收件人全部权重。次要百分比采用加权和,不是各收件人发生率的平均。不作总体推断。

收件人等权的完整次要表格

7,864 个收件人代码中,每个在其全部来源记录中的总权重为 1。

收件人等权的完整次要表格
记录组合加权总量占收件人总权重的比例
点击与投资60.40790.77%
仅点击255.50673.25%
仅投资56.46270.72%
两种标记都无7,491.622695.26%
加权总量为 1/k 贡献之和,不是采取各项行动的独立人数。四舍五入前合计为 7,864。这一不同的描述目标保留每条来源记录。

加权单元总量包含分数,因为它们累加 1/2 或 1/10 等贡献,合计为收件人代码数 7,864。这些分数不应被视为人数,也不表示采取各项行动的独立投资者人数。[3]

在自己的报告中比较点击与结果的模板

将活动解读为漏斗之前,先写一份测量简报。以下无须注册的模板,用于规划自己的报告。它不假定历史数据集采用相同定义,也不假定改变测量会改善销售。

决定:“我们希望为[活动]作出[消息、产品服务或报告决定]。”先选定决定,再选择方便的比率。

单位与基数:“1 行代表[收件人—活动、访问或其他有依据的单位]。符合条件的基数为[定义]。重复事件及重复收件人按[规则]处理。”将事件次数与标识符数量分开。

动作:“点击指[具体记录事件]。结果指[报名、合格咨询、已完成购买或其他定义的行动]。”决定如何处理取消、退款、测试事件及重复项。

关联与时点:“我们使用[允许使用的标识符]连接记录。在[窗口]观察点击,在[窗口]观察结果。可利用[可用时间戳]确定顺序。”如果无法关联或缺少时间戳,应如实说明,不用假定旅程填补空白。

报告:“我们将展示仅点击、仅结果、两者都有、两者都无,以及符合条件的基数。条件百分比将写明分母。”将不可用或未关联记录作为单独报告问题保留,不要悄悄称为“两者都无”。

用途:“这份报告描述[观察到的关系]。若要声称[某项活动带来更多结果],我们需要[适当比较设计]。”重叠表本身不提供该因果比较。

展示全部 4 种组合

4 个等大托盘,分别放有带指针信封及带勾结果标记、只有信封、只有结果标记,以及空托盘。另一个较小托盘内有 2 张未匹配记录卡。
  1. 定义同一条记录

    写明符合条件的单位、动作、匹配规则及窗口。

  2. 保留每种组合

    展示两种动作都有、各自单独有及两者都无;另行标明未匹配记录。

  3. 写明分母

    说明百分比以全部记录、点击记录还是结果记录为起点。

用于规划报告的概念插图,不描绘事件顺序或研究比例。真实报告系统中,未匹配记录需要单独处理。

填写示例:创作者报告工作坊报名

设想一位虚构创作者,有 1,000 条符合条件的收件人—活动记录。假设其定义的窗口及允许的匹配流程,得到 80 条有点击、30 条有报名、18 条两者都有的记录。这些是虚构教学数值,不是众筹数据的另一项结果。

完整表格中,18 条两者都有,62 条仅点击,12 条仅报名,908 条两者都无。点击率为 80 除以 1,000,即 8%;报名率为 30 除以 1,000,即 3%。

有点击标记的记录中,80 条中有 18 条也有报名,占 22.5%;有报名标记的记录中,30 条中有 18 条也有点击,占 60%。创作者可报告全部 4 个数,不暗示它们衡量同一件事。

12 条仅报名记录,在创作者掌握其路径证据之前,应作中性描述。即使时间戳确定点击先于报名,仅凭顺序也不能证明邮件导致报名。创作者可用表格明确下一个问题,不将其当作收入提升估计。

一份有用的完整简报可以写:“我们描述这项活动、这些窗口内的报名记录重叠。我们将保留全部 4 类,展示两个条件基数,并单独报告无法匹配的记录。”这比没人能说清分母的转化率标签更能指导行动。

Influence IQ 如何计算重叠?

我们使用作者第 1 版公开发布中的完整最终 Stata 数据集。计算联合结果前,核查了文件身份、7 个必需数字字段、全部 55,357 个唯一的收件人—简报邮件对、7,864 个收件人代码及 10 个邮件代码。两种标记必须均存在,且精确编码为 0 或 100。[2]

我们核查 3 个处理组计数,并复现论文四舍五入后的边际点击及投资百分比。没有移除、插补或去重任何记录。随后,在总体及每封邮件内统计全部 4 种组合,并用固定的收件人等权方式计算相同指标。

2 套独立编写的实现,得到完全相同的计数与精确分数。下载包包含原创计算代码、方法及全部汇总表,不含原始记录或收件人标识符。来源文件请另从作者处获取,并保留其署名。

我们不为这份发布文件的完整枚举附上抽样置信区间。计数对这些记录精确,但不能据此确定更广泛总体的精度。共享收件人及项目会影响向更广泛总体的外推,而本研究不尝试外推。

实际贡献是完整的记录重叠,以及明确提出下一个测量问题的方法。它补充作者原始实验,不取代它。活动决策时,先定义结果、基数、匹配规则及时间窗口,再决定报告中的转化率意味着什么。

CSV 使用本页语言。包内包含原创代码、方法文档译文及汇总结果,不含原始记录或收件人标识符;请另从作者公开发布中获取数据。

来源与注释

  1. Hornuf, Lars 与 Christoph Siemroth(2023),A field experiment on attracting crowdfunders,《Economics Letters》222,110928。第 2–3 节定义 10 封邮件、观测单位及结果标记;表 1–2 提供已发布群体及边际控制值。原研究检验表述方式的效果,Influence IQ 新分析描述联合记录结果。
  2. Hornuf 与 Siemroth,第 1 版数据发布,2023 年 4 月 17 日,DOI 10.17632/9prftpkdfc.1,CC BY 4.0。分析使用 SubscriberNumber、NewsletterNumber、treatmentcontrol、treatmenteco、treatmentreturn、ClickPercent 及 InvestmentPercent,不使用具有识别作用的值标签及其他字段。审阅来源未能确定匹配的观察窗口、事件顺序或取消规则。
  3. 次要分析中,出现在 k 封来源邮件的收件人,其每条记录权重为 1/k。主分析给予每条记录权重 1。两者均使用完整发布样本。来源收件人代码支持分组,但不能仅凭代码确认每个代码都对应一个不同的自然人。分数在展示四舍五入前精确计算。全部 10 个邮件代码保留原生顺序,不赋予时间先后含义。

这篇英文文章为来源版本。所有语言版本描述同一组德国众筹历史记录,并非不同国家或行业的独立基准。

相关 Influence IQ 研究