多變量測試:素材測試能回答哪些問題

同時更換標題與圖片,有助於選出完整素材版本;但若想了解各元素,就需要不同的比較方式。Upworthy 的歷史設計顯示,即使缺少部分組合,仍可能保留許多比較機會。

Influence IQ 分析 Upworthy Research Archive 的探索性子集,涵蓋 2013 年初至 2015 年 4 月的網站實驗。主要比較納入 188 個符合條件、同時改變標題文字與圖片 ID 的測試。這是設計盤點,不是點擊或行銷活動成效分析。

摘要

不完整的多變量設計,仍可能保留各自比較標題或圖片的機會。188 個符合條件、同時改變標題文字與圖片 ID 的 Upworthy 測試中,31 個包含全部組合。其餘 157 個中,150 個至少保留 1 組固定標題或圖片的比較;75 個則兩種比較都有。這些計數描述已存在的組合,不代表測試是否產生可靠或有用的成效結果。[1]

本研究使用 2013 年初至 2015 年 4 月網站實驗的歷史探索性子集,固定摘錄文字,並在主要範圍中排除已記錄可能存在分派問題的期間。納入該期間後,大方向仍相同:199 個不完整設計中,180 個至少保留 1 組這類比較。對企業與創作者而言,實際選擇是讓組合對應問題:選出完整素材、比較單一元素,或檢視 2 個元素如何共同作用。

團隊已備妥 2 個行銷活動版本。其中一組以商品圖片搭配直接明確的標題,另一組使用不同圖片與較口語的標題。若其中某組表現較好,您究竟學到了什麼?

執行得宜的比較,有助於從這些完整版本中做選擇,但單憑這項比較,無法知道哪項變更造成差異。多變量測試會在一組組合中,改變不只單一元素。實用的起點是先問:希望這些組合協助做出什麼決定?

光看版本數量,無法回答這個問題。4 種標題版本搭配同一張圖片,讓團隊能在該情境下比較標題。2 種標題搭配 2 張圖片,若包含全部配對,也會有 4 組素材,但能進行的比較不同。測試開始前,先寫下各種配對,就能看清差異。

完整素材,包含多項選擇

概念插圖:行銷活動卡片由分開的文字與圖片模組組成。
無文字的概念插圖。卡片代表素材元素,不是真實 Upworthy 素材組合、量測結果或產品介面。

不完整設計,往往仍保留有用的比較

我們檢視各個 Upworthy 網站測試中的標題與圖片組合。3,212 個符合主要範圍規則的測試中,188 個同時改變兩種元素,其餘多數只改變其中一種。每個測試分開處理,無論可能有多少人看過,都只計算 1 次。[2]

188 個測試中,只有 31 個包含各自已觀察標題與圖片 ID 的全部組合,其餘 157 個都是不完整組合表。這聽起來限制很多,但還要看表內保留哪些比較。157 個設計中,75 個同時具有固定圖片比較標題,以及固定標題比較圖片的機會;另有 30 個只有前者,45 個只有後者,7 個兩者皆無。

合計而言,157 個不完整設計中,150 個,也就是 95.5%,至少保留 1 種固定另一個元素、比較某個元素的方法。這不證明任何比較具有足夠流量、妥善分派或有意義的結果,但也說明,僅以「沒有測試全部組合」為由否定設計,過於籠統。

表格將完整與不完整設計一併列出。全部 188 個設計中,106 個包含兩種比較,30 個只有標題比較,45 個只有圖片比較,7 個兩者皆無。「兩種都有」指至少各有 1 組,不代表每個標題或圖片都能在相同條件下比較。

原始資料庫論文已說明,編輯經常挑選素材組合,而未測試全部可能配對。本研究補充的,是盤點這些選擇仍留下哪些比較機會。我們無法還原每位編輯的目標,也無法判斷設計是否達成該目標。[1]

多數同時改變兩種元素的設計,仍保留元素比較

188 個符合條件的 Upworthy 歷史測試,同時改變標題文字與圖片 ID,固定摘錄文字,並套用指定日期限制。每個測試權重相同。

閱讀圖表數值
設計中存在的比較測試數占 188 個測試的比例
標題與圖片比較都有10656.4%
僅標題比較3016.0%
僅圖片比較4523.9%
兩種元素比較皆無73.7%
4 個類別將 188 個測試完整劃分。「兩種都有」指至少具有 1 組固定圖片的標題比較,以及至少 1 組固定標題的圖片比較,不是全部可能比較。計數描述設計提供的機會,不是效果、檢定力或行銷活動結果。

3 種設計,回答不同問題

假設陶藝工作室要宣傳週末課程,有 2 個標題:A「製作您的第 1 只陶碗」,以及 B「在陶輪前度過星期六」。圖片 1 是完成的碗,圖片 2 是陶輪。這些是假設選項,不是 Upworthy 案例,也不是量測所得的行銷活動結果。考慮 3 種可能設計時,優惠與其他顯示文案都維持不變。

首先,完整組合表包含 A 配圖片 1、A 配圖片 2、B 配圖片 1,以及 B 配圖片 2。團隊能固定圖片 1 比較標題,再以圖片 2 進行相同標題比較,也能在各標題下比較圖片。4 個設計格提供這些機會,但不能確定每格會收集多少證據。

其次,部分組合表包含 A 配圖片 1、B 配圖片 1,以及 B 配圖片 2,缺少 A 配圖片 2。團隊能固定圖片 1 比較 A 與 B,也能另行固定標題 B 比較圖片。缺少的設計格,不會抹去這 2 組比較。

但部分組合表留下另一個問題,無法透過直接的 4 格比較回答:使用圖片 2 時,A 與 B 的差異是否仍相同?因為沒有 A 配圖片 2 的結果可用。團隊也不能只從已觀察的 3 組中挑選,就認定找到了全部 4 種可能組合中最好的素材;未測試的組合可能表現不同。

最後,對角設計只包含 A 配圖片 1 與 B 配圖片 2。這 2 組素材之間,沒有任何元素保持固定。有效的測試仍可能支持從這 2 個完整版本中選擇,但單憑這項比較,無法分別辨識標題或圖片的貢獻。

這些設計沒有普遍適用的最佳選擇。若工作室必須為特定上線活動,從 2 個已核准概念中擇一,比較完整素材可能就符合任務;若想跨圖片重複使用某個標題,就需要能支持更廣泛選擇的相關證據。增加組合的理由,是回答團隊確實存在的問題。[3]

3 種假設設計,包含不同組合

虛構陶藝工作室示例,有 2 個標題 A 與 B,以及 2 張圖片 1 與 2。這些設計格是設計示例,不是資料庫觀察值。

閱讀圖表數值
標題與圖片組合完整組合表部分組合表對角設計
標題 A + 圖片 1111
標題 A + 圖片 2100
標題 B + 圖片 1110
標題 B + 圖片 2111
1 代表納入,0 代表未納入。完整設計包含全部 4 格;部分設計省略 A 配圖片 2;對角設計比較兩種元素皆不同的 2 組素材。未指定任何成效值。

兩個方向各有比較,不等於完整的 2×2 測試

資料庫讓這項差異更具體。106 個包含兩種比較的設計中,74 個連 1 組完整的 2 標題、2 圖片矩形都沒有。因此,一個設計可能在某處能比較標題,在別處能比較圖片,卻未提供直接比較兩者差異所需的 4 個設計格。

再看工作室的部分組合表。固定圖片 1 比較 A 與 B,是一個問題;在標題 B 下比較圖片 1 與圖片 2,則是另一個問題。兩者都無法告訴我們,圖片改變時,標題本身的差異是否也會改變。這個問題涉及交互作用:某個元素與反應之間的關係,是否取決於另一個元素。

188 個設計中,32 個至少包含 1 組完整矩形,涵蓋全部 31 個完整組合表,以及另 1 個較大的不完整組合表。這類矩形提供形成直接交互作用對比的位置,但不表示交互作用確實存在;在其他設計或建模假設下,它也不是研究交互作用的唯一依據。

對行銷活動團隊而言,這項差異應先寫進需求說明,再放進統計模型。「用這張圖片比較這兩個標題」,比「找出能適用於各張圖片的標題」範圍更窄。回答前者的結果,不應悄悄被當成後者的答案。

擴大日期範圍,仍得到相同規劃啟示

主要盤點排除建立日期跨度與 2013 年 6 月 25 日至 2014 年 1 月 10 日重疊的測試。資料庫研究人員指出,該期間可能存在分派問題。這些疑慮影響因果研究,但不代表組合紀錄無法用於結構盤點,因此我們也納入該期間,重做比較。[4]

較廣範圍包含 239 個同時改變兩種元素的測試,其中 40 個含全部組合,199 個不完整。不完整設計中,180 個,也就是 90.5%,至少保留 1 組固定某個元素的比較;93 個,也就是 46.7%,則兩種比較都有。主要範圍的對應比例為 95.5% 與 47.8%。確切比例有所變動,但不完整設計仍經常保留特定比較。

我們也檢查文字處理方式的影響。主要分析直接比較標題與摘錄的原始字串。移除字串前後空白、將連續空白合併後,同時改變兩種元素的測試有 189 個,其中 31 個是完整組合表,108 個包含兩種比較,32 個包含完整矩形。這項檢查改變哪些設計符合條件,因此計數使用各自的分母呈現。[5]

全部 3 種範圍的涵蓋率中位數均為 50%。涵蓋率,是已觀察的標題與圖片組合數,除以該測試已觀察標題與圖片 ID 所能形成的全部組合數。中位數是描述,不是品質評分。某個組合可能因無關、不合適,或不在編輯預定比較範圍內而缺漏;資料庫無法確定省略原因。

改變分析範圍後,涵蓋率與比較機會的差異仍然存在

全部欄位都計算測試數,各列使用各自同時改變兩種元素的測試數作為分母。文字處理檢查保留主要日期限制;全期間檢查則保留原始字串的精確比對方式。

閱讀圖表數值
分析範圍同時改變兩種元素的測試數完整組合表數兩種比較都有至少 1 組完整 2×2
主要範圍:精確比對原始字串、限制日期1883110632
空白字元正規化、限制日期1893110832
精確比對原始字串、納入全期間2394013342
各欄位彼此重疊,不得相加。每個完整組合表,都包含兩種比較與完整 2×2,但反過來不一定成立。全期間盤點只檢視結構;納入已記錄分派風險的期間,不代表可據此進行因果分析。

依照要做的決定,撰寫下一次測試需求說明

陶藝工作室應先決定,測試之後要做什麼:選出完整的課程宣傳素材、保留某張圖片並修改標題,還是把某個標題用於之後多種設計?各項決定需要不同的比較。較大的組合表,不一定更值得團隊投入心力。

若決定涉及完整素材,就列出這些素材組合,不要承諾能解釋各個元素。若要選標題,就指出哪張圖片保持固定。若需要檢視標題差異是否隨 2 張圖片而改變,就納入相關 4 種組合,或採用有充分依據的替代設計。這與選擇反應指標、分配方式及觀察期間,應分開處理。

增加組合前,先檢查它們是否合理。特定優惠的標題,可能只適合某張商品圖片。只為填滿表格而建立不適當配對,反而會改變任務。團隊可縮小問題範圍,或製作能合理搭配的版本。完整組合表有用,是因為其中的比較能支持決策,不是因為填滿的表格看起來較周全。

以下欄位可作為簡短規劃需求說明。方括號中的文字,供您填寫自己的行銷活動,不是本研究發現。

測試後的決定:[選出完整素材組合;在指定情境下比較具名元素;檢視指定的元素組合]。

元素與版本:[確切標題文字;圖片檔或穩定 ID;其他會變動的內容]。

納入的素材組合:[實際會展示的標題與圖片配對]。

所需比較:[哪些配對固定某個元素;如涉及交互作用問題,哪 4 格可支持該比較]。

證據規劃:[反應指標;受眾與分派方式;曝光條件;預定觀察及檢視規則]。

結論界線:[設計可能支持哪些結論;哪些未測試組合或情境仍不在決策範圍內]。

例如,採用 3 格部分設計的工作室可寫:「我們會用圖片 1 比較標題,並在標題 B 下比較圖片。我們不測試標題 A 配圖片 2。」這句話讓 2 個有用問題與缺少的比較都清楚可見,而未直接宣告設計不足。

創作者為客戶準備修改後的縮圖與標題時,也可用相同方式釐清:客戶想選擇哪個版本或元素?但本研究計數來自出版者網站,無法確定目前的社群平台如何分派或量測素材版本。

把問題與組合放在一起

3 個插圖托盤,分別呈現不同完整素材配對、固定圖片的標題比較,以及 4 張卡片組成的組合表。
  1. 選出完整素材

    比較可供決策選擇的素材組合。

  2. 比較單一元素

    在所需比較中,固定另一個元素。

  3. 檢視配對

    納入所需組合,以探討標題差異是否隨圖片改變。

3 種規劃選擇的概念插圖。卡片未標示成效結果;實例中的確切組合,列於可無障礙閱讀的表格。

設計盤點如何建立

來源是 Upworthy Research Archive 公開發布的探索性檔案,由 J. Nathan Matias、Kevin Munger、Marianne Aubin Le Quere 與 Charles Ebersole 介紹。這份歷史資料涵蓋 2013–2015 年,共 22,666 筆素材組合紀錄,分屬 4,873 個測試。我們使用標題、圖片識別碼、摘錄、測試識別碼、建立時間戳記與資料庫列索引,未使用點擊、曝光或編輯挑選結果。[1] [6]

最終設計稽核計畫制定前,先進行結構可行性檢查,並據此形成研究問題。因此,這是探索性再分析,不是預先註冊的驗證性研究。指定規則保留具有可用結構欄位的測試,套用主要日期限制,並要求各素材組合的摘錄文字完全相同。論文與資料庫文件對該欄位是否曾顯示有不同說法,因此固定摘錄是較保守的限制。[6]

篩選表先列出依序排除的測試,再細分符合條件的測試。5 個缺少標題或圖片 ID,接著 1,050 個不符日期範圍規則,606 個摘錄不同。保留的 3,212 個測試,包括 1,624 個只改變標題、1,078 個只改變圖片 ID、188 個兩者皆改變,以及 322 個僅有單一已觀察組合的測試。最後一類仍可能包含多筆來源紀錄。

同一測試中,重複且完全相同的標題與圖片配對,只計為 1 個設計格。188 個同時改變兩種元素的測試中,5 個含重複設計格。完整組合表包含該測試已觀察標題字串與圖片 ID 的全部配對。不同字串不一定表達不同構想,不同圖片 ID 也不一定代表外觀不同的圖片;原始圖片檔無法取得。

結果對每個設計採相同權重,計算的不是人數、曝光次數或企業數,也無法確立現今行銷實務、成效或統計檢定力。下載內容提供彙總結果與重現方法,包含兩種範圍檢查,讓讀者能分辨已觀察組合,與從組合推得的結論。[7]

主要比較納入 3,212 個符合條件測試中的 188 個

從公開探索性檔案的 4,873 個測試篩選,依所列順序排除。最後 4 種設計類別,完整劃分 3,212 個符合條件的測試。

檢視篩選階段與全部符合條件類別
閱讀圖表數值
篩選階段或符合條件的設計類別測試數
起始探索性測試4,873
排除:缺少標題或圖片 ID5
排除:指定建立日期區間1,050
接著排除:摘錄文字不同606
排除後符合條件3,212
符合條件:標題改變、圖片固定1,624
符合條件:圖片改變、標題固定1,078
符合條件:標題與圖片皆改變188
符合條件:1 個已觀察組合322
先依序閱讀,再看分類:4,873 減 5、再減 1,050、再減 606,等於 3,212。只改變標題的 1,624 個、只改變圖片的 1,078 個、兩者皆改變的 188 個,以及單一組合的 322 個測試,合計 3,212 個。請勿將全部列相加。沒有測試未通過最少測試組數或日期解析檢查。

CSV 包含 4 張圖表的 41 個數值,並將假設設計格,與觀察所得的計數及比例分開標示。ZIP 包含彙總結果、測試結構紀錄與分析程式碼,並附翻譯後的重現說明;原始公開資料庫須另外下載。不含點擊或曝光結果。

來源與註解

  1. Matias, J. Nathan;Munger, Kevin;Aubin Le Quere, Marianne;Ebersole, Charles(2021),《The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media》,Scientific Data 8,195。DOI:10.1038/s41597-021-00934-7。Influence IQ 分析使用探索性子集與更正後的來源說明。原始論文已定性說明,編輯經常未測試全部標題與圖片組合。
  2. 主要範圍中,同時改變兩種元素的分母為 188 個測試:完整組合表 31 個,不完整 157 個。不完整組中,75 個具有兩種比較,30 個只有標題比較,45 個只有圖片比較,7 個兩者皆無。因此,150/157 = 95.5% 至少保留 1 種比較。「比較」指結構上存在的機會,不是估計效果,也不是已驗證有效的實驗。
  3. 工作室的 3 種設計是假設示例。完整的 2 因子、2 水準設計,包含全部 4 種組合。部分組合示例省略 A 配圖片 2;對角示例只保留 A 配圖片 1 與 B 配圖片 2。單有 4 個設計格,無法確定分派品質、樣本量足夠,或存在有意義的交互作用。NIST 手冊說明了全因子設計及其組合。
  4. 資料庫在 2024 年 6 月的更正指出,2013 年 6 月 25 日至 2014 年 1 月 10 日可能存在隨機分派問題,不建議將該期間用於因果研究,但明確保留其他研究用途。本研究主要分析排除建立日期跨度與該區間相交的任何測試;時間戳記無法證明曝光日期,時區也不明。全期間結構檢查則保留這些紀錄。
  5. 空白字元敏感度檢查,移除標題與摘錄的開頭及結尾空白,並合併內部連續空白,保留大小寫與標點。8 個測試因此符合條件;另有 1 個在兩種範圍均符合條件的測試,結構分類改變。分母會重新計算,不固定為 188。主要、空白字元與全期間範圍中,同時改變兩種元素的測試,分別為 188、189 與 239 個。
  6. 固定版本的探索性 CSV 為 upworthy-archive-exploratory-packages-03.12.2020.csv,OSF 檔案版本 1,共 14,260,949 位元組。SHA-256 為 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce。檔案未更新問題標記,因此日期限制另外推導。論文稱摘錄文字曾顯示,資料庫文件卻將它列為據信未顯示的欄位。固定摘錄,可避免將差異歸因於這個有爭議的欄位。
  7. Cornell University 以 Creative Commons Attribution 4.0 International 授權發布 Upworthy Research Archive、相關程式碼與文件。Influence IQ 提供本項衍生結構分析,不代表獲得 Upworthy 或資料庫作者背書。分析套件包含彙總輸出、測試結構紀錄、程式碼與翻譯後的重現說明;原始公開資料須另行向資料庫取得。

英文文章是來源版本。每種語言版本,都描述相同的 Upworthy 歷史探索性子集與相同假設設計。翻譯不會讓研究發現成為當地市場或現今平台的基準。

將測試問題與行銷活動計畫連在一起