クリック率とコンバージョン率：同じ記録を突き合わせて比べる

クリック率は、明示したクリック機会の数に対するクリック数の割合です。コンバージョン率は、定義した成果を、明示した対象全体に対する割合で示します。その分母は報告によって、広告表示数、届いたメッセージ数、訪問数、クリックした人、その他の条件を満たす集団などになります。比較に役立てるには、まず何の行動を、何を分母にして測るのかを示します。

たとえば「クリックした人のうち申し込んだ人」と「メッセージを送った全員のうち申し込んだ人」では、問いが違います。どちらの定義も使えますが、見出しでどちらを指すか分かる必要があります。また、クリック数と、クリックした人を重複なく数えた人数も別物です。同じ人の繰り返しの操作で、合計は変わります。

本研究で共通の単位とするのは、公開データにある受信者とニュースレターの組み合わせ1件です。その記録にクリックありの印と投資ありの印があるかを数えます。届いたメッセージ数を分母にできる情報や、時刻を伴う出来事の順序はありません。そのため、本記事では「記録上の割合」と「重なる割合」として扱います。

この区別は、企業がメッセージ、提案内容、測定方法のどれを変えるべきか考える際に役立ちます。別々の合計だけでは、個人がどの段階で止まったかは特定できません。対象となる記録を結び付けることが、その問いに答えるための一歩です。出来事の順序と時点を確かめることも、別途必要になります。

研究者のLars HornufとChristoph Siemrothは、ドイツの融資型クラウドファンディング・プラットフォームbettervestと協力して実験を行いました。ニュースレターで10件の投資プロジェクトを紹介する際の、説明の仕方を比較したものです。公開データには受信者とニュースレターの組み合わせ55,357件、受信者コード7,864個が含まれています。1人の受信者は最大10通に登場します。^[1][2]

元の研究では、受信者がニュースレター内の固有のプロジェクトリンクをクリックしたか、その受信者が当該プロジェクトにゼロを超える金額を投資したかが記録されました。各結果は「あり・なし」の値で保存されています。投資ありという記録は、取引件数、購入金額、ECで成立した売上を示すものではありません。

元の論文は、ニュースレターの伝え方がもたらす効果を調べています。今回の再分析の問いは異なります。同じ受信者と同じニュースレターについて、2つの記録上の結果がどれだけ重なるかです。元の3つの実験群を合わせ、公開された標本をすべて残します。伝え方の効果を推定し直すものではありません。

これは特定のクラウドファンディング・プラットフォームの過去の記録で、2023年に公開されたものです。確認した資料からは、共通の観測期間やクリックと投資の順序を確定できませんでした。そのため、測定の具体例として扱い、現在のメールマーケティングのコンバージョン率の基準値とはしません。

55,357件のうち、クリックと投資が両方記録されているのは327件です。このほか、クリックはあるが投資の印がない記録が1,499件、投資はあるがクリックの印がない記録が284件、どちらもない記録が53,247件あります。表では4通りをすべて示します。

ファイル全体では、クリックありの記録は1,826件で3.30%、投資ありの記録は611件で1.10%です。これがそれぞれを別々に集計した割合です。各印がどれだけあるかは分かりますが、同じ記録に両方がある頻度までは分かりません。

投資ありの611件のうち、クリックもあるのは327件、53.52%です。残りの46.48%にはクリックの記録がありません。問いを逆にすると分母も変わります。クリックありの1,826件のうち、投資もあるのは327件で17.91%です。

どちらの割合も正しい計算ですが、答えている問いが違います。前者は投資の記録を出発点にしてクリックを調べ、後者はクリックの記録を出発点にして投資を調べています。いずれも「クリックがその後の投資につながる確率」として示すべきではありません。

投資だけが記録されているケースから、その経緯は分かりません。ニュースレターを経由しなかったのか、計測が出来事を捉え損ねたのか、別のチャネルが投資を引き起こしたのかは判断できません。そうした説明には、公開データにない収集方法、時点、その他の活動の証拠が必要です。

キャンペーン担当者がすぐに生かせるのは、より限定した実務上の工夫です。別々の合計の隣に、両方に該当する記録の件数を置きます。両方の行動を取った人がどれだけいるかを知りたいなら、その重なりが答えの一部になります。突き合わせていない2つの合計を割った比率では代用できません。

重なり方は元の10通で異なります。投資ありの記録のうちクリックもある割合は、29.55%から78.43%まで幅がありました。最小値や最大値だけが研究全体の結果として扱われないよう、全通を示します。

以下のニュースレター番号は元データのコードであり、時系列や順位ではありません。投資ありの記録を分母としたとき、最小は31件、最大は118件です。小さな分母から得られた大きな割合を引用する場合は、その分母も一緒に示す必要があります。

次の表には、比較を確認できるよう全件数を載せています。各ニュースレターで「両方」と「投資のみ」を足すと投資の分母になります。「両方」と「クリックのみ」を足すとクリックの分母になります。4つのセルをすべて足すと、そのニュースレターの総数になります。

この違いから、最も優れたニュースレターのクリエイティブは特定できません。プロジェクトはそれぞれ異なり、同じ受信者が繰り返し登場し、今回の分析では元の実験群を合わせています。ニュースレター別の有意差検定は行っておらず、特定のプロジェクトが強い重なりを引き起こしたとも主張していません。

複数のキャンペーンを運用する企業では、全体の報告とともにキャンペーン別の内訳も残しておきましょう。1つのキャンペーンをどう変えるか考えるときは、その行と件数から始めます。キャンペーン全体を報告するときには合計表を使います。結果を見てから都合のよいキャンペーンだけを選ぶべきではありません。

主分析では、受信者とニュースレターの組み合わせをすべて同じ重みで扱います。10通に登場する受信者は10件分、1通だけに登場する受信者は1件分寄与します。公開された記録そのものを説明するには適した集計ですが、まとめ方はこれだけではありません。

事前に決めた補足分析では、受信者コードごとの重みの合計を1にそろえます。10通に登場する場合は1件当たり10分の1、1通だけの場合は1件で1となります。これで各受信者コードが全体に寄与する重みは等しくなります。ただし、標本が国や市場を代表するようになるわけではありません。

この重み付けでは、投資ありの重みのうちクリックもある割合は51.69%となり、主分析の53.52%とは異なります。逆方向の割合は19.12%で、主分析では17.91%です。両方の集計を残します。補足分析は別の観点から記述するためのもので、好ましい結果が出たから選んだ補正ではありません。

重み付きのセル合計に小数や分数が含まれるのは、2分の1や10分の1といった寄与を足し合わせるためです。全体では受信者コードの数と同じ7,864になります。人を分割した数や、それぞれの行動を取った投資家を重複なく数えた人数として説明してはいけません。^[3]

キャンペーンをファネルとして読む前に、短い測定計画を書いてみましょう。以下は登録なしで使える、自社の報告を設計するためのテンプレートです。この過去のデータも同じ定義を使っていたとか、測定を変えれば売上が伸びるといった前提は置きません。

決めたいこと：「[キャンペーン]について、[メッセージ、提案内容、報告方法に関する判断]を決めたい」。計算しやすい率を選ぶ前に、何を決めるのかを明確にします。

単位と対象：「1行は[受信者とキャンペーンの組み合わせ、訪問、その他の裏付けのある単位]を表す。対象に含める条件は[定義]とする。繰り返しの出来事や同じ受信者の再登場は[ルール]に従って扱う」。出来事の件数と識別子の数は分けて数えます。

行動：「クリックは[具体的に記録される出来事]を意味する。成果は[申込み、条件を満たす問い合わせ、購入完了、その他の定義した行動]を意味する」。取消し、返金、テスト操作、重複記録をどう扱うかも決めます。

結び付け方と時間：「記録は[使用が認められた識別子]で結び付ける。クリックは[期間]、成果は[期間]に観測する。順序は[利用できる記録時刻]で確認できる」。結び付けられない場合や時刻がない場合は、そのまま示します。推測した顧客の経路で穴を埋めません。

報告：「クリックのみ、成果のみ、両方、どちらもなしの4通りと、対象全体を示す。特定の集団内の割合には必ず分母を明記する」。欠けている記録や結び付けられない記録は、報告上の別の課題として見えるようにします。黙って「どちらもなし」に含めません。

利用範囲：「この報告は[観測された関係]を説明する。[キャンペーンが成果を増やした]と主張するには、[適切な比較設計]が必要になる」。重なりの表だけでは、その因果関係を確かめる比較にはなりません。

対象条件を満たす受信者とキャンペーンの組み合わせを1,000件持つ、架空のクリエイターを考えます。定めた期間と、使用が認められた照合手順で、クリックあり80件、申込みあり30件、両方あり18件が得られたとします。説明のために作った数値であり、クラウドファンディングの追加の分析結果ではありません。

全体の表は、両方18件、クリックのみ62件、申込みのみ12件、どちらもなし908件となります。クリック率は80÷1,000で8%、申込率は30÷1,000で3%です。

クリックありの記録では、80件中18件に申込みもあり、22.5%です。申込みありの記録では、30件中18件にクリックもあり、60%です。クリエイターは、この4つの数値が同じものを測っているかのように扱わず、すべて報告できます。

申込みだけの12件については、その経路を示す証拠が得られるまで中立的に記述します。記録時刻からクリックが申込みより前だと確認できても、順序だけでニュースレターが申込みを引き起こしたとは証明できません。表を使って次に調べる問いを決めることはできますが、売上増加の推定値として扱うべきではありません。

記入後の計画は、たとえばこうなります。「このキャンペーンと観測期間について、申込みと重なる記録を記述する。4つの分類をすべて残し、両方向の割合の分母を示す。照合できない記録は別に報告する」。分母を誰も説明できないコンバージョン率より、次の仕事につなげやすい報告になります。

元の研究者が公開した第1版の最終Stataデータセットを、全件使用しました。両方の結果を組み合わせて計算する前に、ファイルの同一性、必要な7つの数値フィールド、重複のない受信者・ニュースレターの組み合わせ55,357件、受信者コード7,864個、ニュースレターコード10個を確認しました。2つの結果の値は欠けておらず、厳密に0か100で記録されていることを条件としました。^[2]

3つの実験群の件数を確認し、論文に掲載されたクリックと投資それぞれの割合を、丸め後の数値まで再現しました。記録の削除、欠損値の補完、重複の除去は行っていません。そのうえで、全体とニュースレターごとに4通りすべてを数え、事前に固定した受信者単位の等しい重みでも同じ量を計算しました。

独立に作成した2つのプログラムで、件数と厳密な分数が一致しました。ダウンロード用パッケージには独自の計算コード、方法、すべての集計表が入っています。生の記録や受信者識別子は含めていません。元データは研究者の公開元から別途取得し、出典を保持してください。

公開ファイル全件の集計なので、標本抽出に基づく信頼区間は付けていません。件数はこれらの記録について正確ですが、より広い母集団での精度を保証するものではありません。一般化するなら受信者やプロジェクトの共通性を考慮する必要がありますが、本研究はその一般化を目的としていません。

実務に役立つのは、記録上の重なりを漏れなく示し、次の測定の問いを明確にすることです。今回の分析は元の実験を補うもので、置き換えるものではありません。キャンペーンの判断では、成果、対象、照合ルール、期間を定義してから、報告されたコンバージョン率の意味を考えてください。