電子郵件 A/B 測試:第 1 小時後有何變化
電子郵件測試報告顯示,某版本在 1 小時後領先。之後仍會領先嗎?差距有多大?在這份歷史封存資料中,大多數領先持續,但逆轉與平手的情況,說明報告為何應保留觀察時點與數字。
Influence IQ 分析 SendGuard900K,來源聲明其中為 2022–2024 年行銷活動紀錄。研究涵蓋 473 個客戶 ID 的 5,743 組觀察配對,以寄件者名稱測試為主。結果描述的是紀錄中的點擊指標,並非純真人點擊、營收或具代表性的電子郵件基準。
摘要
早期電子郵件 A/B 報告能指出哪個版本領先,但無法確定之後的比較情況。SendGuard900K 中,60 分鐘時嚴格領先的 4,712 組觀察配對,有 74.5% 在 1,440 分鐘時仍維持領先、21.0% 逆轉,4.5% 變為平手。指標以紀錄中的不重複點擊計數,除以回報寄送封數,再乘以 100。各版本使用自己的固定寄送封數。來源聲明紀錄來自 2022–2024 年;5,743 組符合條件配對中,5,647 組為寄件者名稱測試。[1]
另外 1,031 組在第 1 小時平手,其中 57.0% 後來出現嚴格領先。逆轉配對的後期差距中位數,為每寄送 100 封有 0.110 次紀錄點擊。這些發現支持將寄送後經過時間、領先或平手、差距及計數背景一併報告,但未辨識真正贏家、最佳等待時間,或延後正式寄送的效果。
假設您正在準備下一次電子報寄送。打開 A/B 報告,看見某版本領先,需要告訴同事下一步該怎麼做。「這個贏了」說來很快,卻跳過 2 個問題:領先多少?比較是在什麼時候記錄的?
我們比較相同電子郵件配對的第 1 小時與 24 小時紀錄。大多數早期領先維持下去。完整情況也包含領先逆轉、領先變平手,以及平手後來分出高下。這些路徑有助於在用報告選擇下次寄送前,先了解早期報告說了什麼。
同一電子郵件配對,2 個觀察時點

大多數第 1 小時領先持續,但並非全部
60 分鐘時,5,743 組符合條件配對中,有 4,712 組出現領先:一個版本的紀錄點擊指標高於另一個。1,440 分鐘,也就是各版本寄送後 24 小時,3,510 組仍是同一版本領先,另有 991 組改為另一版本領先,211 組平手。在起初領先的配對中,分別為 74.5% 維持、21.0% 逆轉、4.5% 平手。[2]
這些比較針對特定紀錄指標。我們將各版本的不重複點擊計數,除以回報寄送封數,再乘以 100,單位為每寄送 100 封的紀錄點擊數。領先是該指標數值較高,不論差異多小,並不代表統計顯著。
多數情況仍值得保留。這份封存資料未顯示,第 1 小時報告通常會被推翻;它顯示持續領先、逆轉與後來平手都曾發生。只記錄早期排序的報告,會失去這些後續路徑的區別。
即使後來排序不同,第 1 小時報告仍能正確描述當時記錄的資訊。將逆轉稱為「錯誤贏家」則走得更遠:它把後來排序當成真相,並假定早期報告聲稱的不只是當下領先。此處保留兩次觀察。比較呈現的是紀錄排序變化,並非決策系統錯誤率。
來源也比「電子郵件 A/B 測試」這個泛稱更狹窄。符合條件配對中,5,647 組標為寄件者名稱,96 組標為主題,因此寄件者名稱測試占本分析 98.3%。不應將結果呈現為主旨行基準,或每個電子郵件平台的估計值。
下圖以全部 5,743 組配對為分母,包含起初平手的 1,031 組,讓每條觀察路徑都可見。991 組逆轉占全部配對 17.3%,但占 4,712 組早期領先配對的 21.0%。兩個數字都正確,回答的是不同問題。
5 條路徑涵蓋全部 5,743 組觀察電子郵件配對
SendGuard900K 中,各版本寄送後 60 至 1,440 分鐘;來源將封存資料日期列為 2022–2024 年。領先指每封回報寄送郵件的不重複點擊計數較高;平手依精確比率判定。
| 觀察路徑 | 觀察配對數 | 占全部 5,743 組配對的比例(%) |
|---|---|---|
| 早期領先維持 | 3,510 | 61.1% |
| 早期領先逆轉 | 991 | 17.3% |
| 早期領先變平手 | 211 | 3.7% |
| 早期平手變領先 | 588 | 10.2% |
| 早期平手仍平手 | 443 | 7.7% |
早期平手是不同的起點
第 1 小時平手,就沒有領先版本可維持或逆轉。在這份封存資料中,1,031 組早期平手有 588 組後來出現領先,443 組仍平手。前者占早期平手的 57.0%。不應把它加到逆轉百分比,因為起始群體不同。
許多早期平手的紀錄活動也很少。在 1,031 組平手中,655 組的兩個版本,第 1 小時不重複點擊計數皆為 0。其他平手可能有正計數,但比率完全相等。我們依底層計數與寄送總數判定相等,而非圖表四捨五入百分比。[3]
對報告團隊來說,這能分清「紀錄指標未出現領先」與「2 個版本表現相等」。前者是特定寄送後時間的觀察,後者需要本描述性比較未提供的證據。部分平手後來分出高下,也無法確定先前應選哪個版本。
用實際封存筆數簡單計算,即可檢查分母。以 588 除以 1,031,描述早期平手後來的情況;以 991 除以 4,712,描述早期領先中的逆轉。只有問題涉及全部符合條件配對時,才將任一筆數除以 5,743。報告標題應明確指出起始群體。
領先版本改變,並未說明差距大小
991 組逆轉配對,第 1 小時的絕對差距中位數,為每寄送 100 封有 0.062 次紀錄點擊;24 小時為 0.110。這些是 2 個版本紀錄指標之差,並非新增人數、歸因購買或營收百分比變動。[3]
解讀差距時,寄送分母很重要。若兩版本寄送總數不同,光看原始點擊計數差,不足以比較。須先將各計數除以自己的回報寄送總數。此指標的 0.110 差距,也不應描述為 0.110% 相對改善;它是每寄送 100 封尺度上的絕對差,未附帶銷售價值。
後期差距大小不一。在逆轉配對中,中間一半介於每寄送 100 封約 0.025 至 0.336 次紀錄點擊。因此,中位數描述此群體中的典型位置,不代表每次逆轉都很小。排序可在小差距下改變,也有些紀錄差距大得多。
其他路徑提供實用背景。維持領先配對的後期差距中位數為 0.291;從平手變領先的配對為 0.444。後來平手的差距,依定義恰為 0。表格將全部 5 條路徑放在一起,而非只突出逆轉。
早期與後期欄位,是各列分別計算的中位數。它們未追蹤某組典型配對,兩者相減也不是跨配對的變動中位數。應將其讀作各觀察時點的差距摘要。描述比較方向時,將路徑標籤與幅度一併使用。
這些群體依兩個觀察時點發生的事定義,差距中位數不能當成預先辨識新活動逆轉的規則。尤其逆轉配對較小的早期中位數,不是已驗證、能判定何時可放心採取行動的門檻。
差距旁也應有計數背景。在全部 4,712 組第 1 小時領先配對中,2 個版本合計的不重複點擊計數,中位數為 9。其中 488 組合計計數恰為 1。這描述早期領先者的起始證據,不表示特定配對造成逆轉總數,也不表示低計數解釋了變化。
5 條觀察路徑的差距中位數不同
SendGuard900K 中,60 與 1,440 分鐘時,2 個版本紀錄點擊指標的絕對差;來源將封存資料日期列為 2022–2024 年。每個指標皆為不重複點擊計數,除以回報寄送封數,再乘以 100。
| 觀察路徑 | 觀察配對數 | 60 分鐘差距中位數(每寄送 100 封的紀錄點擊數) | 1,440 分鐘差距中位數(每寄送 100 封的紀錄點擊數) |
|---|---|---|---|
| 早期領先維持 | 3,510 | 0.175 | 0.291 |
| 早期領先逆轉 | 991 | 0.062 | 0.110 |
| 早期領先變平手 | 211 | 0.295 | 0.000 |
| 早期平手變領先 | 588 | 0.000 | 0.444 |
| 早期平手仍平手 | 443 | 0.000 | 0.000 |
檢查時間與客戶組成後,有何變化
我們在計算結果前固定額外比較。若從 30 分鐘而非 60 分鐘開始,有 4,507 組早期領先配對,其中 24.3% 在 1,440 分鐘時逆轉。第 1 小時結果則是 4,712 組領先配對中的 21.0%。分母不同很重要:有些配對在一個時點平手,另一個時點卻領先。[4]
這無法證明,多等 30 分鐘就能避免某個比例的錯誤決策。2 項計算描述不同寄送後時間的觀察排序,並未隨機分派等待政策,也未評估正式寄送決策的後果。
我們也將第 1 小時比較,限於 2 個版本寄送時間戳記相同的 686 組配對。其中 560 組早期領先,有 19.6% 後來逆轉。這項檢查減少紀錄資料中的 1 項時間差異。時間戳記相符,不代表同時送達,或受眾曝光相當。
有些客戶 ID 提供的配對遠多於其他 ID。主要計算給每組配對相同權重。另一項檢查,先計算至少有 1 組第 1 小時領先的 403 個客戶 ID,各自內部的逆轉占比,再給每個 ID 相同權重。平均為 19.2%。這描述各 ID 逆轉占比的平均值,不是發生逆轉的客戶百分比。[4]
整體而言,固定檢查保留了實務問題:觀察到的早期領先,可能持續、逆轉或變平手。但它們未產生通用逆轉機率。封存資料在客戶 ID 內有重複紀錄,這些 ID 也不是經確認、彼此獨立企業的樣本。
3 項固定比較下的逆轉占比
SendGuard900K 中,來源將封存資料日期列為 2022–2024 年;每個百分比都以後期逆轉數,除以早期時點嚴格領先配對數。後期時點一律為各版本寄送後 1,440 分鐘。
| 比較項目 | 嚴格早期領先的配對數 | 嚴格早期領先者的後期逆轉比例(%) |
|---|---|---|
| 60 至 1,440 分鐘:全部符合條件配對 | 4,712 | 21.0% |
| 30 至 1,440 分鐘:全部符合條件配對 | 4,507 | 24.3% |
| 60 至 1,440 分鐘:寄送紀錄時間戳記相同 | 560 | 19.6% |
給選擇下次寄送的人,不只是贏家標籤
實用報告從正在作的決策開始。接收者是在選擇下次寄送、記錄已完成測試,還是為規劃會議回顧歷史測試?第 1 小時觀察可能與每項任務都相關,但為其中一項準備的報告,可能漏掉另一項需要的資訊。
指出領先者前,先說明測試變數與指標。此處指寄件者名稱或主題,再加上每回報寄送 100 封的不重複點擊計數。若團隊使用已送達郵件、經確認真人點擊或購買,則應說明該定義。持續標明指標,也讓後續比較更容易解讀。
接著,將觀察時點放在領先或平手旁。一併列出 2 項指標之差,以及兩版本的底層計數與寄送總數。讀者就能看見方向、差距與背後紀錄活動,而不必從醒目資料列猜出這 3 件事。
交接示例句可以是:「在 [觀察時點],[版本或平手] 描述 [已定義指標] 的目前排序;差距為 [數值],依據為 [計數與寄送總數]。」括號是待以真實報告填寫的欄位,不是本研究活動結果。另用一句話記錄選定行動與理由。
若有後續觀察時點,保留早期觀察,並顯示領先是否維持、逆轉或變平手。回顧時便能區分當時已知資訊與後來紀錄。除非報告明確只討論原已領先配對,否則也應納入起初平手者。
版本選擇仍取決於活動目標、投遞限制、衡量品質與任一選擇的成本。封存資料未訂定該規則;它提供實用理由,避免讓「贏家」一詞同時取代觀察與決策。
早期電子郵件評估已有研究基礎
先前研究已將電子郵件表現視為隨時間發展的事。Bonfrer 與 Drèze 的〈Real-Time Evaluation of E-mail Campaign Performance〉,於 2008 年線上發布、2009 年刊於 Marketing Science,描述預測方法與序貫決策架構,並以 25 個活動評估。早期與後期結果可能不同,這個一般概念並不新。[5]
本分析以另一份封存資料,回答較狹窄的描述性問題:符合條件配對的紀錄排序,多常持續、逆轉或平手?這些路徑伴隨多大差距?它保留早期平手,並檢查固定時間與權重選擇是否改變解讀。
解讀發現時,這項區分很重要。預測模型試圖在自身假設下估計接下來發生什麼;我們的表格描述發布紀錄在指定寄送後時間包含什麼。觀察百分比可幫助團隊解釋報告,但不是選擇下次活動版本的模型。
如何比較紀錄配對
SendGuard900K 包含 908,229 筆已發布活動紀錄。來源描述聲明,這些是 2022–2024 年正式營運中繼資料。我們篩選依客戶 ID 與測試 ID 組合辨識的 6,801 組,保留恰有 2 筆符合條件的觀察測試部分紀錄、且回報寄送封數為正的 5,743 組。最終正式寄送紀錄不納入配對比較,也不要求一定有這些紀錄。[1][6]
保留配對涵蓋 473 個客戶 ID。恰有 2 筆符合條件觀察紀錄,不代表原始實驗只設定 2 種版本、封存資料完整,或受眾隨機分派。因此,我們描述觀察配對,而非經確認完整隨機實驗的集合。
各版本計算使用 30、60 或 1,440 分鐘時的不重複點擊計數,以及相同封存回報寄送分母。每個時點皆相對於該版本寄送時間。主要配對不必在相同實際時刻寄送。相同時間戳記檢查是額外限制,不是套用所有配對的假設。
符合條件配對的必要計數皆可取得、有效且非負,沒有超過各自回報寄送封數;3 個觀察時點間,也沒有計數下降。檢查支持紀錄中的算術,但無法確立不重複點擊的含義、機器人篩選、投遞情況,或後期觀察是否捕捉全部最終回應。[6]
我們在四捨五入前,精確比較底層比率,判定領先與平手。差距為每寄送 100 封的紀錄點擊數之絕對差。中位數與其他分位數採最近秩法:排序後選取指定順位,不作插值。圖表百分比取小數點後 1 位、差距中位數取 3 位;適用時,圖表下載檔保留小數點後 6 位。
在讀取結果前,方法已固定納入結構、觀察時點、5 條路徑、計數與差距摘要、時間檢查,以及各客戶等權重計算。研究下載檔保留全部固定彙總表,包括計數為 0 的結果與品質檢查。獨立來源重現與完整彙總輸出一致。這些是描述性封存結果,不含信賴區間、顯著性檢定,也未宣稱產業抽樣具代表性。[7]
圖表 CSV 包含 31 個數值,每列 CSV 資料 1 個,取自 3 張圖表顯示的 13 列資料。ZIP 保留全部 11 張彙總表、來源檢查與重現程式碼,不含活動層級資料列或客戶/測試識別碼,並附翻譯說明;重現分析須另行下載來源檔案。數值下載檔使用小數點。
來源與註解
- 來源:Bobek、Nalepa、Obara、Suszalski 與 Bałec,SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing,第 1.0.0 版。來源聲明活動中繼資料來自 2022–2024 年,版權歸 Freshmail,2025 年。本分析使用 5,743 組符合條件觀察配對,並非全部 908,229 列活動。其中 5,647 組標為 sender_name,96 組標為 topic。
- 4,712 組第 1 小時嚴格領先者中,3,510 組維持領先、991 組逆轉、211 組後來平手:74.5%、21.0% 與 4.5%。1,031 組早期平手中,588 組分出嚴格領先,443 組仍平手:57.0% 與 43.0%。5 路徑圖則將每項筆數除以全部 5,743 組配對。數值在顯示四捨五入前計算。
- 指標為不重複點擊計數,除以該版本固定回報寄送封數,再乘以 100。領先與平手依精確比率分類,而非四捨五入顯示。絕對差距單位為每寄送 100 封的紀錄點擊數。逆轉配對的後期中位數為 0.109543,第一與第三四分位數為 0.024817 與 0.336215。5 路徑中位數表中,全部顯示為 0 的差距都恰為 0。
- 30 分鐘比較有 4,507 組嚴格早期領先,包含 1,093 組後期逆轉。寄送紀錄時間戳記相同的限制下,有 686 組配對,含 560 組嚴格早期領先與 110 組逆轉。各客戶等權重的主要結果,是對至少有 1 組嚴格早期領先的 403 個客戶 ID,平均其各自內部逆轉比例。平均為 19.227847%,既不是客戶數百分比,也不是具代表性的企業估計值。
- Bonfrer 與 Drèze,Real-Time Evaluation of E-mail Campaign Performance,Marketing Science 28(2),251–263;2008 年 10 月 7 日線上發布,2009 年出刊。發布者摘要描述 split-hazard 預測方法、25 個活動與序貫決策架構。它支持早期電子郵件評估的既有研究背景,並非驗證我們的描述性封存百分比。
- 固定來源篩選在各客戶/測試複合群組中,保留恰好 2 筆符合條件的觀察測試部分紀錄,排除最終正式寄送列。公開欄位未完整確立寄送時鐘起訖慣例或寄送時長、點擊去重鍵、純真人活動、已送達郵件分母、原始實驗完整分派,或資料擷取成熟度。計數有效且不遞減,無法解決這些限制。寄送紀錄時間戳記相同,也不代表同時送達。
- SendGuard900K 依 Creative Commons Attribution 4.0 International 發布。研究套件包含分析程式碼、固定方法與衍生彙總表,未再散布活動層級紀錄或客戶/測試識別碼。從來源重現時,須另外下載原始檔案。共用套件包含翻譯說明。
這篇英文文章是來源版本。各語言版本描述同一份歷史 SendGuard900K 封存資料,來源聲明紀錄來自 2022–2024 年。翻譯不會讓這些結果變成當地市場或當前產業基準。
