多変量テスト：クリエイティブの組み合わせでわかること

Upworthyのウェブサイトで行われたテストごとに、見出しと画像の組み合わせを調べました。主な条件を満たした3,212件のうち、188件で両方が変わっていました。残りの大半は、どちらか一方だけを変えていました。テスト同士をまとめず、閲覧者の多寡にかかわらず、それぞれを1件として数えています。^[2]

188件のうち、記録にある見出しと画像IDの全組み合わせを含んでいたのは31件だけでした。残る157件には、一部の組み合わせがありません。それでも、何を比較できるかを見ると印象は変わります。この157件のうち75件には、同じ画像で見出しを比べる組み合わせと、同じ見出しで画像を比べる組み合わせの両方がありました。30件は見出しの比較だけ、45件は画像の比較だけで、7件にはどちらもありませんでした。

つまり、不完全な157件のうち150件、95.5%には、一方を固定してもう一方を比べる方法が少なくとも1つ残っていました。十分な閲覧数や適切な割り当て、有用な結果があったと証明したわけではありません。ただ、「全組み合わせを試していない」という理由だけで設計を退けるのは、大まかすぎる判断だとわかります。

表には完全な設計も含めています。188件全体では、106件が両方の種類の比較を含み、30件は見出しだけ、45件は画像だけ、7件はどちらも含みませんでした。「両方」とは、それぞれ少なくとも1つあるという意味です。すべての見出しや画像を同じ条件で比較できるという意味ではありません。

元のデータ論文でも、編集者がすべての組み合わせを試さずに案を選ぶことが多かったと説明されています。今回の分析では、その選択によってどの比較が残っていたかを数えました。個々の編集者の目的を再現したり、設計がその目的を満たしていたかを評価したりすることはできません。^[1]

陶芸教室が週末のワークショップを宣伝するとします。見出しはA「初めての陶芸で器を作ろう」とB「土曜日はろくろに向かおう」の2つ。画像1は完成した器、画像2はろくろです。これは説明のための架空の案で、Upworthyの実例でも、成果を測ったキャンペーンでもありません。案内する内容と、それ以外に表示する文章は同じまま、3つの設計を考えます。

1つ目は全組み合わせを含む設計です。Aと画像1、Aと画像2、Bと画像1、Bと画像2を用意します。画像1を固定して見出しを比較し、画像2でも同じ見出し比較ができます。それぞれの見出しの下で画像を比べることもできます。4つのセルがあると、こうした比較が可能になります。ただし、各セルでどれだけの証拠が集まるかは別の問題です。

2つ目は一部だけを含む設計です。Aと画像1、Bと画像1、Bと画像2を用意し、Aと画像2は含めません。画像1を固定してAとBを比較できます。また、見出しBを固定して画像を比較できます。1つのセルがなくても、この2つの比較は残ります。

ただし、別の問いには4セルを使って直接答えられません。画像2でもAとBの差は同じでしょうか。判断に使える「Aと画像2」の結果がないためです。また、観測した3案から1つを選んでも、可能な4案すべての中で最もよいものを特定したことにはなりません。試していない案は、違う結果になるかもしれません。

3つ目は対角線上の2案だけを含む設計です。Aと画像1、Bと画像2だけを用意します。この2案の間では、どちらの要素も固定されていません。テストが適切なら、完成した2案のどちらを選ぶかは判断できます。しかし、この比較だけでは、見出しと画像それぞれの寄与を分けて捉えられません。

どの設計にも、あらゆる場面での優位性があるわけではありません。ある告知に使う承認済みの2案から選ぶだけなら、完成した案同士の比較で目的を果たせるかもしれません。見出しを別の画像でも使いたいなら、その広い判断に関係する証拠が必要です。組み合わせを増やす意味は、チームが実際に知りたいことに答えられるかどうかで決まります。^[3]

この違いは、実際の記録にも表れています。両方の種類の比較を含む106件のうち74件には、2つの見出しと2つの画像からなる完全な長方形が1つもありませんでした。ある場所では見出しを、別の場所では画像を比較できても、それらの差を直接比べるための4セルがそろうとは限りません。

陶芸教室の一部だけを含む設計に戻りましょう。画像1でAとBを比べることと、見出しBで画像1と画像2を比べることは、別の問いです。どちらからも、画像を変えると見出し間の差そのものが変わるかはわかりません。この3つ目の問いが「交互作用」です。ある要素と反応の関係が、もう一方の要素によって変わるかを調べます。

188件のうち32件には、完全な長方形が少なくとも1つありました。全組み合わせを含む31件と、より大きな不完全な設計1件です。こうした長方形があれば、交互作用を直接比べるためのセルがそろいます。それ自体は交互作用の存在を示しません。また、別の設計やモデル上の仮定を使う場合まで含めて、交互作用を調べる唯一の方法というわけでもありません。

キャンペーンを担当するチームは、統計モデルを考える前に、この違いを計画に書いておく必要があります。「この画像で2つの見出しを比べる」は、「複数の画像で使える見出しを見つける」より狭い依頼です。前者に答えた結果を、いつの間にか後者の答えにしてはいけません。

主な集計では、記録の作成日の範囲が2013年6月25日から2014年1月10日までに重なるテストを除きました。アーカイブの研究者が、この期間の割り当てに問題があった可能性を指摘しているためです。これは因果関係を調べる際には重要ですが、組み合わせの記録が設計の集計に使えなくなるわけではありません。そこで、この期間も含めて比較を繰り返しました。^[4]

対象期間を広げると、両方の要素を変えたテストは239件になります。40件は全組み合わせを含み、199件は不完全でした。不完全な設計のうち180件、90.5%には一方を固定した比較があり、93件、46.7%には両方の種類がありました。主な集計ではそれぞれ95.5%と47.8%です。割合は変わりますが、不完全な設計にも特定の比較が残ることが多い、という点は同じです。

文章の扱いも変えて確認しました。主な分析では、見出しと抜粋文が文字列として完全に一致するかを見ています。先頭と末尾の空白文字（スペース、タブ、改行）を除き、内部の連続する空白文字を1つのスペースに置き換えると、両方の要素を変えたテストは189件になりました。全組み合わせを含むものは31件、両方の種類の比較を含むものは108件、完全な長方形があるものは32件です。この変更で対象となる設計が変わるため、分母を分けて示しています。^[5]

網羅率の中央値は、3つの集計すべてで50%でした。網羅率は、実際に記録された見出しと画像の組み合わせ数を、そのテスト内の見出しと画像IDから作れる全組み合わせ数で割った値です。中央値は設計の特徴を示すもので、品質の点数ではありません。省かれた組み合わせは、目的に関係がなかったり、不自然だったり、編集者が比べたい対象の外だったりした可能性があります。省いた理由までは、記録からわかりません。

陶芸教室なら、テスト後に何をするかから考えましょう。完成した告知を1案選ぶのか、画像を残して見出しを変えるのか、今後の複数のデザインで同じ見出しを使うのか。決めたいことによって、必要な比較は異なります。大きな組み合わせ表を用意すれば、必ずチームの労力を有効に使えるわけではありません。

完成した案を選ぶなら、それぞれの要素まで説明できるとは約束せず、候補の案を列挙します。見出しを選ぶなら、固定する画像を決めます。2枚の画像で見出し間の差が変わるかを調べたいなら、必要な4つの組み合わせを含めるか、根拠のある別の設計を使います。この判断は、反応の指標、割り当て方法、観測期間を決める作業とは分けて考えます。

組み合わせを増やす前に、内容として成立するかも確かめましょう。特定の商品のオファーを伝える見出しは、1枚の商品画像にしか合わないことがあります。表を埋めるためだけに不自然な組み合わせを作ると、調べる課題が変わってしまいます。問いを狭めるか、自然に組み合わせられる案を作る方法もあります。完全な表が役立つのは、見た目が入念だからではなく、必要な判断に使える比較があるからです。

次の項目を、短いテスト計画として使えます。角括弧内は自分のキャンペーンに合わせて記入する内容で、この研究の結果ではありません。

テスト後に決めること：[完成した案を選ぶ／特定の条件で特定の要素を比較する／決めた要素同士の組み合わせを調べる]。

要素と各バージョン：[見出しの正確な文面／画像ファイルまたは変わらないID／ほかに変える内容]。

実際に含める案：[表示する見出しと画像の組み合わせ]。

必要な比較：[一方を固定できる組み合わせ／交互作用を調べる場合、その問いに必要な4セル]。

証拠を集める計画：[反応の指標／対象者と割り当て／表示条件／予定する観測期間と確認の基準]。

結論の範囲：[この設計で判断できること／試さない組み合わせや、判断の対象外となる条件]。

たとえば3セルだけの設計を使う教室なら、「画像1で見出しを比較し、見出しBで画像を比較する。見出しAと画像2は試さない」と書けます。設計を不十分だと決めつけずに、2つの有用な問いと、できない比較を明確にできます。

クライアント向けに制作するクリエイターも、サムネイルとタイトルを修正するときに同じ考え方を使えます。クライアントが選びたいのは、どの案、あるいはどの要素なのかという問いです。ただし、今回の件数はメディア企業のウェブサイトに由来します。現在のSNSがクリエイティブのバリエーションをどう割り当て、どう測るかを示すものではありません。

出典は、J. Nathan Matias、Kevin Munger、Marianne Aubin Le Quere、Charles EbersoleによるUpworthy Research Archiveの公開探索用ファイルです。2013～2015年の記録から、4,873件のテストに属する22,666行の案が収められています。使ったのは見出し、画像ID、抜粋文、テストID、作成日時、アーカイブ内の行番号です。クリック数、インプレッション数、編集者の選択は使っていません。^{[1] [6]}

最終的な設計調査の計画より前に、構造上の分析が可能かを確認し、その結果を問いの設定に使いました。そのため、これは探索的な再分析であり、事前登録した確認的研究ではありません。決めたルールに従い、構造を調べる項目が使えるテストを残し、主な期間制限を適用し、各案の抜粋文が一致することを条件としました。抜粋文を実際に表示したかについて論文とアーカイブの説明が異なるため、この条件は保守的に設けています。^[6]

選択の表は、順に除外した件数と、残ったテストの内訳を示します。見出しか画像IDのない5件を除き、次に期間の条件に合わない1,050件、抜粋文が異なる606件を除きました。残った3,212件は、見出しだけが変わる1,624件、画像IDだけが変わる1,078件、両方が変わる188件、観測された組み合わせが1つだけの322件です。最後の分類でも、元の行は複数ある場合があります。

同じテスト内で見出しと画像の組み合わせが繰り返されていても、設計のセルとしては1つと数えました。両方を変えた188件のうち5件には、繰り返し記録されたセルがありました。完全な組み合わせ表とは、そのテストで観測した見出し文字列と画像IDのすべての組み合わせがあるものです。文字列が違っても別のアイデアとは限らず、画像IDが違っても見た目が違うとは限りません。画像ファイルは利用できません。

結果では、各設計に同じ重みを与えています。人、インプレッション、企業の数を表すものではありません。また、現在のマーケティング実務、成果、統計的検出力も示しません。ダウンロードには、2つの対象条件の確認を含む集計結果と再現方法を用意しています。観測された組み合わせと、そこから導く結論の違いを確かめられます。^[7]