メールのA/Bテスト：最初の1時間の後に何が変わったか

60分時点では、対象5,743組のうち4,712組で一方がリードしていました。つまり、記録されたクリック指標がもう一方より高かったということです。各バージョンの送信から1,440分、すなわち24時間後にも同じ側が上回っていたのは3,510組でした。991組ではもう一方が上回り、211組では同じ値になりました。初めにリードがあった組を分母にすると、維持74.5%、逆転21.0%、同値4.5%です。^[2]

ここで比較しているのは、特定の記録上の指標です。各バージョンのユニーククリック数を、送信済みと報告されたメール数で割り、100を掛けます。単位は送信100通当たりの記録上のクリック数です。差がどれほど小さくても、この値が高ければリードとします。統計的に有意な結果という意味ではありません。

多数を占める結果も見失わないことが大切です。このデータは、最初の1時間のレポートが通常は覆ると示しているわけではありません。リードの維持、逆転、その後の同値が、いずれも観測されたということです。初期の順序だけを残したレポートでは、その後の違いが分からなくなります。

後で順序が変わっても、最初の1時間のレポートがその時点の情報を正しく伝えていた可能性はあります。逆転を「誤った勝者の選択」と呼ぶと、後の順序を真実とみなし、初期レポートがその時点のリード以上のことを主張していたと仮定することになります。ここでは両時点の観測を残しています。示すのは記録上の順序の変化であり、意思決定システムの誤り率ではありません。

データの範囲は、「メールのA/Bテスト」という一般的な言葉より狭いことにも注意が必要です。対象のうち、送信者名とラベル付けされた組は5,647組、トピックは96組でした。したがって、この分析の98.3%を送信者名のテストが占めます。件名テストの基準値や、すべてのメール配信プラットフォームに当てはまる推定値として扱うべきではありません。

下の図は、初めに同じ値だった1,031組も含め、5,743組すべてを分母にしています。これにより、観測された各経路が見えます。991組の逆転は全組の17.3%ですが、初めにリードがあった4,712組の21.0%でもあります。どちらも正しい値で、答えている問いが異なります。

最初の1時間で同じ値なら、維持されたり逆転したりするリードはまだありません。このデータでは、初めに同じ値だった1,031組のうち588組で後に一方が上回り、443組は同じ値のままでした。前者は初めに同じ値だった組の57.0%です。出発点となる集団が異なるため、逆転の割合に足してはいけません。

初期に同じ値だった組の多くでは、記録された活動も少なめでした。1,031組のうち655組は、最初の1時間のユニーククリック数が両方ともゼロでした。ほかには、クリック数が正でも比率が完全に一致する場合があります。同値かどうかは、図の丸められた割合ではなく、元のクリック数と送信数から判定しています。^[3]

レポートを作る側は、「記録上の指標では差がない」と「二つのバージョンの性能は同じ」を区別できます。前者は、送信から一定時間が経った時点での観測です。後者には、この記述的な比較では得られない証拠が必要です。後に差がついたからといって、初期にどちらを選ぶべきだったかが確定するわけではありません。

分母は、実際のデータの件数を使った簡単な計算で確認できます。初めに同じ値だった組のその後を知るには、588を1,031で割ります。初めにリードがあった組の逆転を知るには、991を4,712で割ります。どちらの件数も、対象の全組について問う場合だけ5,743で割ります。レポートの見出しには、どの集団から出発しているかを明記する必要があります。

逆転した991組では、差の絶対値の中央値は、最初の1時間で送信100通当たりの記録上のクリック数0.062、24時間後で0.110でした。これは二つのバージョンの記録上の指標の差です。増えた人数、キャンペーンに帰属する購入数、売上の変化率ではありません。^[3]

この差を読むには、分母となる送信数が重要です。送信数が異なるバージョンを比較するとき、クリック数そのものの差だけでは足りません。それぞれのクリック数を、そのバージョンで報告された送信数で先に割る必要があります。また、この指標の差0.110を「相対的に0.110%改善した」と表すこともできません。送信100通当たりという尺度上の絶対差であり、売上の価値が付与されているわけではないからです。

後の時点の差にはばらつきがありました。逆転した組では、中央の半数が、送信100通当たりの記録上のクリック数で約0.025〜0.336の間にありました。中央値はこの集団の中央の位置を表すもので、どの逆転も小さかったという意味ではありません。小さな差をまたいで順序が変わることもあれば、記録された差がもっと大きい場合もあります。

ほかの経路も参考になります。リードを維持した組では、後の差の中央値は0.291でした。同値から一方のリードに変わった組では0.444です。後の時点で同値なら、定義上、差は正確にゼロになります。表は逆転だけを強調せず、五つの経路を並べています。

初期と後期の列は、各行に属する組について別々に求めた中央値です。典型的な一組を追跡したものではなく、二つの中央値を引いても、各組の変化量の中央値にはなりません。それぞれの観測時点における差の要約として読んでください。比較の方向を説明するときは、大きさと併せて経路のラベルを確認します。

これらの集団は、両方の観測時点で何が起きたかによって分けています。そのため、差の中央値を、新しいキャンペーンで逆転を見抜くための事前ルールには使えません。特に、逆転した組の初期の中央値が小さかったことは、安心して判断できる時点を決めるための検証済みの基準にはなりません。

差と併せて、元の件数も確認する必要があります。最初の1時間にリードがあった4,712組全体では、二つのバージョンのユニーククリック数を合計した値の中央値は9でした。そのうち488組は、合計がちょうど1でした。これは初期にリードがあった組の出発時点の情報を示しています。その488組が逆転件数を生んだことや、件数の少なさが変化を説明することを示すものではありません。

結果を計算する前に、追加の比較を決めていました。開始時点を60分ではなく30分にすると、初期にリードがある組は4,507組になりました。そのうち24.3%が1,440分までに逆転しました。最初の1時間からの結果は、リードがあった4,712組の21.0%でした。ある時点では同値でも別の時点では差がある組があるため、分母の違いが重要です。^[4]

これは、さらに30分待てば誤った判断を一定の割合で防げるという証拠ではありません。二つの計算は、送信からの経過時間が異なる時点の順序を記述しています。待つ方針を無作為に割り当てたり、残りの配信を実行する判断の結果を評価したりしたわけではありません。

最初の1時間からの比較を、二つのバージョンに記録された送信日時が完全に一致する686組に限定した確認も行いました。初期にリードがあった560組のうち、19.6%が後に逆転しました。この確認では、記録上の時間の違いを一つ減らしています。ただし、送信日時が一致しても、同時に届いたことや、受信者が等しくメールに接したことまでは証明できません。

クライアントIDによって、含まれる組数は大きく異なります。主な計算では各組に同じ重みを与えています。別の確認では、最初の1時間にリードがある組を一つ以上持つ403のクライアントIDごとに逆転の割合を求め、各IDを同じ重みで平均しました。結果は19.2%です。これはIDごとの逆転割合の平均であり、逆転を経験したクライアントの割合ではありません。^[4]

事前に決めた確認を合わせて見ても、初期に観測されたリードは維持、逆転、同値のいずれにもなり得るという実務上の論点は残ります。ただし、普遍的な逆転確率が得られるわけではありません。同じクライアントID内に複数の記録があり、各IDが独立した企業の標本であることも確認されていません。

役立つレポートは、何を決めるためのものかを明確にするところから始まります。受け手は次の配信を選ぶのでしょうか。完了したテストを記録するのでしょうか。それとも、計画会議のために過去のテストを振り返るのでしょうか。最初の1時間の観測はどの作業にも関係し得ますが、一つの目的で作ったレポートには、別の目的で必要な情報が欠けることがあります。

どちらがリードしているかを述べる前に、テストした変数と指標を示します。ここでは、変数は送信者名またはトピック、指標は報告された送信100通当たりのユニーククリック数です。チームが配信済みメール数、人によるクリックと確認できた数、購入数を使っているなら、その定義を示してください。指標を明記しておくと、その後の比較も読み取りやすくなります。

次に、リードまたは同値という結果の横に観測時点を添えます。二つの値の差と、各バージョンの元のクリック数および送信数も含めます。そうすれば、読む人は強調表示された一行から推測しなくても、方向、差、記録された活動を一緒に確認できます。

報告文の例は、「[観測時点]では、[定義した指標]で[バージョン、または同値]という順序です。[クリック数と送信数]に基づく差は[値]です」です。角括弧は実際のレポートから埋める欄で、この研究のキャンペーン結果ではありません。選んだ対応とその理由は、別の文に記録します。

後の観測がある場合は、初期の観測も残し、リードが維持されたか、逆転したか、同値になったかを示します。振り返る際に、その時点で分かっていたことと、後から記録されたことを区別できます。もともとリードがあった組だけを扱うと明記したレポートでなければ、初期に同じ値だった組も含めてください。

どのバージョンを選ぶかは、キャンペーンの目的、配信上の制約、測定の質、各選択に伴うコストによって変わります。このデータは、その判断ルールを定めるものではありません。「勝ち」という一言に、観測と判断の両方を代弁させないための理由を示しています。

先行研究でも、メールの成果は時間とともに現れるものとして扱われてきました。BonfrerとDrèzeの「Real-Time Evaluation of E-mail Campaign Performance」は、2008年にオンライン公開され、2009年のMarketing Scienceに掲載されました。25キャンペーンで評価した予測手法と逐次的な意思決定の枠組みを説明しています。初期と後の結果が異なり得るという一般的な考え方自体は、新しいものではありません。^[5]

今回の分析は、別のデータを使い、より限定した記述的な問いに答えます。対象の組では、記録上の順序がどのくらい維持、逆転、同値になり、それぞれにどの程度の差が伴ったのでしょうか。初期に同じ値だった組を見える形で残し、事前に決めた時間と重み付けの確認によって説明が変わるかを調べています。

この違いを踏まえて結果を読むことが大切です。予測モデルは、その仮定の下で次に起きることを推定します。今回の表は、公開された記録に、送信から一定時間が経った時点で何が含まれているかを示します。観測された割合は、チームがレポートを説明する際の参考にはなりますが、次のキャンペーンでバージョンを選ぶモデルではありません。

SendGuard900Kには、公開されたキャンペーン記録が908,229件あります。提供元は、2022〜2024年の実運用システムのメタデータと説明しています。クライアントIDとテストIDの組み合わせで特定した6,801グループを確認し、対象となる観測済みのテスト用記録がちょうど二つあり、報告された送信数が正の5,743グループを残しました。本配信の記録は組の比較から除外しています。また、本配信の記録が存在することを条件にはしていません。^{[1] [6]}

残した組は473のクライアントIDにまたがります。対象となる記録がちょうど二つ見つかったことは、元の実験に二つのバージョンしか設定されていなかったこと、データが完全であること、受信者が無作為に割り当てられたことの証明にはなりません。そのため、完全な無作為化実験の集合としてではなく、データ上で観測された組として記述しています。

各バージョンの30分、60分、1,440分のユニーククリック数を、同じ記録上の報告送信数で割って計算しています。各時点は、そのバージョンの送信からの経過時間です。主な分析の各組で、実際の送信日時が一致している必要はありません。送信日時をそろえる確認は別の制限であり、全組に置いた仮定ではありません。

対象の組では、必要なクリック数はすべて取得でき、有効な非負の値でした。報告送信数を超える値はなく、三つの観測時点を通じて減少した値もありませんでした。これらの確認は、記録に基づく計算を支えますが、ユニーククリックの意味、ボット除外、配信到達、後の観測が最終的な反応をすべて捉えたかまでは確定しません。^[6]

リードと同値は、丸める前の比率を正確に比較して判定します。差は、送信100通当たりの記録上のクリック数の絶対差です。中央値などの分位点には、値を並べて所定の順位の値を選ぶnearest-rank方式を使い、補間は行いません。図の割合は小数第1位、差の中央値は小数第3位までに丸めています。図のダウンロードでは、該当する値を小数第6位まで保持しています。

対象の構造、観測時点、五つの経路、件数と差の要約、時間に関する確認、各クライアントIDを等しく扱う計算は、結果を読む前に決めました。研究資料のダウンロードには、ゼロ件や品質確認も含め、事前に定めたすべての集計表を残しています。元データからの独立した再計算は、集計結果全体と一致しました。これは過去データの記述的な結果であり、信頼区間、有意性検定、業界を代表する標本であるという主張はありません。^[7]