點擊率與轉換率:比較同一批紀錄

重新分析 55,357 筆歷史群眾募資紀錄,呈現將點擊與投資標記連結,而非分別閱讀總數時,有何不同。

原創重新分析 Hornuf 與 Siemroth 於 2023 年發布的 bettervest 電子報公開資料集。

摘要

點擊率與結果比率描述不同動作。若想了解兩者關係,須檢查哪些紀錄同時包含兩者。我們重新分析 2023 年發布的德國群眾募資實驗,共 55,357 筆收件者—電子報紀錄。611 筆有專案投資標記的紀錄中,327 筆也有電子報點擊標記,占 53.52%;其餘 284 筆沒有,占 46.48%。

結果讓企業與創作者有具體理由,檢查活動報告背後的重疊。它不表示追蹤失敗,也不表示電子郵件促成投資。發布紀錄未確立事件順序或共同衡量期間。我們呈現完整 4 種組合、全部 10 封電子報,以及在解讀漏斗前,先定義企業自家連結衡量的範本。

想像創作者回顧工作坊上市。一份報告顯示電子報點擊,另一份顯示報名。兩個總數都真實,但並列呈現,無法告訴創作者有多少報名屬於點擊過的人。

缺少的計算是重疊。它可能小,也可能大,2 個主要總數無法決定。公開群眾募資資料集,讓我們用真實紀錄示範計算,同時將實務問題與資料無法支持的主張分開。

2 個總數,需要連結

附指標的信封與打勾結果圖示,分布在 2 個重疊色塊中。配對位於交集,兩色塊外有中性圖形。
紀錄動作重疊的概念插圖。物件與數量僅作示意;資料表包含研究實測筆數。

點擊率與轉換率有何不同?

點擊率報告點擊相對於所述點擊機會的比例;轉換率報告所定義結果相對於所述基數的比例。依報告而異,基數可能是廣告曝光、已送達訊息、造訪、點擊者或其他符合條件群體。實用比較從指明動作與分母開始。

例如,「點擊者中的報名」與「所有寄送對象中的報名」,回答不同問題。報告可用任一定義,但標籤須讓讀者知道採用哪個。點擊也不同於不重複點擊者,重複事件可能改變總數。

本研究的共同基數,是發布資料集中的收件者—電子報紀錄。我們計算該紀錄是否有點擊標記,以及是否有投資標記。資料沒有已送達訊息分母,也沒有帶時間戳記的事件順序,因此稱為紀錄比率與重疊占比。

企業決定要改變訊息、商品服務還是衡量方式時,這項區分很實用。2 個獨立總數,無法辨識個別對象停在哪裡。連結符合條件紀錄,是朝回答該問題邁進一步;確立事件順序與時間,則是另一件事。

群眾募資資料集測量了什麼?

研究者 Lars Hornuf 與 Christoph Siemroth,與德國債權型群眾募資平台 bettervest 合作。實驗比較電子報描述 10 個投資專案的不同方式。發布資料集包含 55,357 筆收件者—電子報紀錄,以及 7,864 個收件者代碼。一名收件者最多可出現在 10 封電子報中。[1][2]

作者記錄收件者是否點擊電子報中的唯一專案連結,以及是否對該專案投資正金額。各結果儲存為是或否標記。投資標記不是交易次數、購買金額,也不是已完成電商銷售的衡量。

原論文檢視電子報表述方式的效果。我們重新分析的問題不同:對同一收件者與電子報,2 項紀錄結果有多少重疊?我們合併全部 3 個原始處置群體,保留完整發布樣本,未重新估計表述方式效果。

這些是特定群眾募資平台於 2023 年發布的歷史紀錄。所檢視資料未確立共同觀察期間,或點擊與投資的順序。因此,研究提供衡量範例,而非當前電子郵件行銷轉換率基準。

點擊與投資多常同時出現?

55,357 筆紀錄中,有 327 筆同時記錄點擊與投資。另有 1,499 筆有點擊但無投資標記、284 筆有投資但無點擊標記,以及 53,247 筆兩者皆無。表格保留全部 4 種可能。

完整檔案有 1,826 筆點擊標記,占 3.30%;611 筆投資標記,占 1.10%。這是 2 個邊際比率,說明各標記多常見,卻未說明兩標記多常屬於同一筆紀錄。

完整的點擊與投資重疊

歷史 bettervest 發布資料中,全部 55,357 筆收件者—電子報紀錄,於 2023 年發布。

完整的點擊與投資重疊
紀錄組合紀錄數占全部紀錄的比例
點擊與投資皆有3270.59%
僅點擊1,4992.71%
僅投資2840.51%
兩項標記皆無53,24796.19%
每筆紀錄等權重。標記代表有紀錄的動作,不代表順序或原因。類別涵蓋全部情況,且互不重疊。

611 筆投資標記紀錄中,327 筆也有點擊標記,占 53.52%;其餘 46.48% 沒有紀錄點擊。反過來問,分母就不同:1,826 筆點擊標記紀錄中,327 筆也有投資標記,占 17.91%。

兩個百分比都正確,因為回答不同問題。第一個從投資紀錄問點擊,第二個從點擊紀錄問投資。兩者都不應呈現為點擊促成後續投資的機率。

起始群體不同,答案就不同

歷史來源紀錄:611 筆投資標記、1,826 筆點擊標記。

起始群體不同,答案就不同
問題符合條件紀錄數基數紀錄數占所述基數的比例
有點擊標記的投資紀錄32761153.52%
無點擊標記的投資紀錄28461146.48%
有投資標記的點擊紀錄3271,82617.91%
每個百分比皆指明基數。這些是紀錄重疊,不是後續動作機率或歸因轉換。前 2 列以同樣的 611 筆紀錄為分母。

只有投資的紀錄,無法解釋自身歷程。它無法告訴我們,此人跳過電子報、追蹤漏掉事件,或另一管道促成投資。這些解釋需要蒐集方式、時間與其他活動的證據,本次發布未提供。

對活動負責人而言,直接啟示較狹窄而實用:將配對筆數放在各自總數旁。業務問題涉及同時採取兩項動作的人時,交集就是答案的一部分。以 2 個未配對總數相除,不能取代它。

每封電子報的重疊都相同嗎?

10 封來源電子報的重疊不同。投資標記紀錄中,也有點擊標記的比例,介於 29.55% 至 78.43%。我們呈現每封電子報,避免任一端點取代完整研究。

下方電子報編號是來源代碼,不是時間順序或排名。最小投資基數為 31 筆,最大為 118 筆。引用結果時,小基數上的大百分比,應連同基數一起保留。

兩個方向的重疊與各自基數

全部 10 封歷史電子報;底層完整筆數列於下一張表。

兩個方向的重疊與各自基數
來源電子報投資紀錄中的點擊比例投資紀錄數點擊紀錄中的投資比例點擊紀錄數
電子報 178.43%5112.08%331
電子報 244.44%3612.21%131
電子報 335.29%346.70%179
電子報 429.55%448.90%146
電子報 541.27%6315.95%163
電子報 662.75%5123.36%137
電子報 761.29%3114.07%135
電子報 860.87%6931.58%133
電子報 950.00%11831.38%188
電子報 1059.65%11424.03%283
第一項占比以兩標記皆有紀錄除以投資紀錄,第二項以兩標記皆有紀錄除以點擊紀錄。僅為描述性差異,不宣稱最佳電子報或統計顯著。

下方完整筆數,讓比較可供核對。對任一電子報,將「兩者皆有」加「僅投資」,得到投資基數;將「兩者皆有」加「僅點擊」,得到點擊基數。4 個儲存格合計為該電子報總數。

每封電子報的全部 4 種結果

全部 10 封來源電子報,依原生代碼排序。

每封電子報的全部 4 種結果
來源電子報兩者皆有僅點擊僅投資兩者皆無全部紀錄
電子報 140291115,2385,580
電子報 216115205,5155,666
電子報 312167225,3255,526
電子報 413133315,4325,609
電子報 526137375,3775,577
電子報 632105195,1965,352
電子報 719116125,1015,248
電子報 84291275,1825,342
電子報 959129595,1825,429
電子報 1068215465,6996,028
代碼不表示時間先後或表現排名。每列 4 項結果筆數合計為總數;收件者可出現在不同電子報中。

這種變化未辨識最佳電子報素材。專案不同、相同收件者可能重複出現,而且新分析合併原始處置群體。沒有逐電子報顯著性檢定,也未宣稱特定專案導致更高重疊。

企業有多個活動時,應在合併報告旁保留活動細節。若要決定如何改變某活動,先看該活動資料列與筆數;跨活動報告則保留合併表。不要看到結果後,才挑選有利活動。

每名收件者等權重時,有何不同?

主要比較給予每筆收件者—電子報紀錄相同權重。因此,出現在 10 封電子報的收件者貢獻 10 筆,出現 1 次者貢獻 1 筆。這適合描述發布紀錄,但不是唯一可能摘要。

作為預先指定的次要比較,我們給各收件者代碼總權重 1。出現在 10 封電子報者,每筆貢獻 1/10;只出現 1 次者貢獻 1。因此,各收件者代碼貢獻相同總權重。這不會讓樣本代表某國家或市場。

此權重下,51.69% 的投資權重也帶點擊標記,主要分析則為 53.52%;反向占比為 19.12%,主要分析為 17.91%。我們保留兩份摘要;次要摘要有不同描述目標,並非因結果較討喜而選擇的修正。

同一完整檔案的 2 種加權方式

主要:每筆收件者—電子報紀錄等權重。次要:各收件者代碼等總權重。

同一完整檔案的 2 種加權方式
加權方式投資中的點擊比例投資中的無點擊比例點擊中的投資比例紀錄點擊率紀錄投資率
紀錄等權重(主要)53.52%46.48%17.91%3.30%1.10%
收件者等權重(次要)51.69%48.31%19.12%4.02%1.49%
前 3 欄使用具名結果基數,後 2 欄使用全部紀錄或全部收件者權重。次要百分比使用加權總和,並非各收件者比率的平均值。不推論母體。

收件者等權重的完整次要表格

7,864 個收件者代碼,各自在來源紀錄間貢獻總權重 1。

收件者等權重的完整次要表格
紀錄組合加權總數占收件者總權重的比例
點擊與投資皆有60.40790.77%
僅點擊255.50673.25%
僅投資56.46270.72%
兩項標記皆無7,491.622695.26%
加權總數為 1/k 貢獻的總和,不是採取各動作的不重複人數。四捨五入前合計為 7,864。此不同描述目標保留每筆來源紀錄。

加權儲存格總數包含分數,因為加總了 1/2 或 1/10 等貢獻。合計為 7,864,即收件者代碼數。不應將其描述為分數人數,或採取各動作的不重複投資者數。[3]

在自家報告比較點擊與結果的範本

將活動解讀為漏斗前,先寫簡短衡量簡報。下列無須註冊的範本,用於規劃自家報告,不假定歷史資料集使用相同定義,也不假定改變衡量會改善銷售。

決策:「我們想為 [活動] 決定 [訊息、商品服務或報告決策]。」先選決策,再選方便的比率。

單位與基數:「1 列代表 [收件者—活動、造訪或其他有資料支持的單位]。符合條件基數為 [定義]。重複事件與重複收件者依 [規則] 處理。」分清事件數與識別碼數。

動作:「點擊指 [特定紀錄事件]。結果指 [報名、符合資格詢問、已完成購買或其他定義動作]。」決定如何處理取消、退款、測試事件與重複紀錄。

連結與時間:「我們使用 [允許的識別碼] 連結紀錄。在 [期間] 觀察點擊,在 [期間] 觀察結果,並以 [可用時間戳記] 確立順序。」若缺少連結或時間戳記,應如實說明,而非用假定歷程補空白。

報告:「我們會呈現僅點擊、僅結果、兩者皆有、兩者皆無,以及符合條件基數。條件式百分比將指明分母。」將不可用或未連結紀錄,保留為獨立報告問題,而非逕稱「兩者皆無」。

用途:「本報告描述 [觀察關係]。若要宣稱 [活動促成更多結果],需要 [合適比較設計]。」重疊表本身未提供因果比較。

讓全部 4 種組合可見

4 個等大托盤分別呈現:附指標信封與打勾結果圖示皆有、只有信封、只有結果圖示,以及空托盤。另一個較小托盤含 2 張未配對紀錄卡。
  1. 定義同一筆紀錄

    指明符合條件單位、動作、配對規則與期間。

  2. 保留每種組合

    呈現兩動作皆有、各自單獨及兩者皆無;另行辨識未配對紀錄。

  3. 指明分母

    說明百分比從全部紀錄、點擊紀錄還是結果紀錄起算。

規劃報告的概念插圖,不代表事件順序或研究比例。實際報告系統須另行處理未配對紀錄。

實作範例:創作者報告工作坊報名

假設一位虛構創作者,有 1,000 筆符合條件的收件者—活動紀錄。依所定義期間與允許的配對流程,得到 80 筆有點擊、30 筆有報名,18 筆兩者皆有。這些是虛構教學數值,不是群眾募資資料的另一項結果。

完整表格包含兩者皆有 18 筆、僅點擊 62 筆、僅報名 12 筆,以及兩者皆無 908 筆。點擊率為 80 除以 1,000,即 8%;報名率為 30 除以 1,000,即 3%。

點擊標記紀錄中,80 筆有 18 筆也有報名,占 22.5%;報名標記紀錄中,30 筆有 18 筆也有點擊,占 60%。創作者可以報告全部 4 個數字,而不暗示它們衡量同一件事。

在創作者取得歷程證據前,12 筆僅報名紀錄值得中性描述。即使時間戳記確立點擊早於報名,順序本身也不證明電子報促成報名。創作者可用表格指明下一個問題,而不把它視為營收增幅估計。

實用的完整簡報可以寫:「我們描述此活動與這些期間的報名紀錄重疊。我們會保留全部 4 類、顯示兩個條件式基數,並另行報告無法配對的紀錄。」這比無人能辨識分母的轉換率標籤更能指引行動。

Influence IQ 如何計算重疊?

我們使用作者第 1 版公開發布的完整最終 Stata 資料集。計算聯合結果前,先檢查檔案身分、7 個必要數值欄位、全部 55,357 組不重複收件者—電子報配對、7,864 個收件者代碼,以及 10 個電子報代碼。兩項標記皆須存在,且編碼恰為 0 或 100。[2]

我們核對 3 個處置群體筆數,並重現論文四捨五入的邊際點擊與投資百分比。未移除、插補或去除重複紀錄。接著計算整體與各電子報全部 4 種組合,再依固定的收件者等權重方式,計算相同項目。

2 份獨立撰寫實作,產生相同筆數與精確分數。下載套件包含原創計算程式碼、方法與全部彙總表,不含原始紀錄與收件者識別碼。來源檔案請另向作者取得,並保留來源標示。

對發布檔案的完整逐筆統計,我們未附抽樣信賴區間。筆數對這些紀錄而言精確,但不代表更廣母體的精確度。共同的收件者與專案會影響向更廣泛母體外推,本研究未嘗試這種外推。

實務貢獻是完整的紀錄重疊,以及清楚提出下一個衡量問題的方式。它補充而非取代作者原始實驗。針對活動決策,先定義結果、基數、配對規則與時間期間,再決定報告中的轉換率代表什麼。

CSV 使用本頁語言。套件包含原創程式碼、翻譯後的方法文件與彙總結果,不含原始紀錄與收件者識別碼;請另行取得作者公開發布的資料。

來源與註解

  1. Hornuf, Lars 與 Christoph Siemroth(2023),A field experiment on attracting crowdfunders,Economics Letters 222,110928。第 2–3 節定義 10 封電子報、觀察單位與結果標記;表 1–2 提供已發布群體與邊際檢查。原研究測試表述方式效果,Influence IQ 的新分析則描述紀錄結果的聯合分布。
  2. Hornuf 與 Siemroth,第 1 版資料發布,2023 年 4 月 17 日,DOI 10.17632/9prftpkdfc.1,CC BY 4.0。分析使用 SubscriberNumber、NewsletterNumber、treatmentcontrol、treatmenteco、treatmentreturn、ClickPercent 與 InvestmentPercent,不使用可供識別的值標籤與其他欄位。所檢視來源未確立配對觀察期間、事件順序或取消規則。
  3. 某收件者出現在 k 封來源電子報時,次要分析每筆給予 1/k 權重。主要分析則每筆權重為 1。兩者皆使用完整發布樣本。來源收件者代碼支持分組,但無法獨立認證不重複自然人。分數於顯示四捨五入前精確計算。全部 10 個電子報代碼保留原生順序,不賦予時間先後意義。

這篇英文文章是來源版本。各語言版本描述同一批德國歷史群眾募資紀錄,並非各國或各產業獨立基準。

相關 Influence IQ 研究