ECの商品配置：位置についての前提を確かめる

商品カードの比較は、商品の魅力と見せ方を分けて考える助けになるべきです。一方がいつも最初に、もう一方がいつも最後に表示されるなら、合計値だけでは、どちらを買い手が好むかは分かりません。

今回検証する単純な方法は、リストを一つ下がるごとに、モデル内部の選好スコアを同じ幅で調整します。確かめたいのは、位置ごとに異なる調整を認める方法と比べて、選択を十分によく予測できるかという点です。

公開された書籍選択実験で、この二つを比較しました。コレクションページやオンラインストアで商品を比較する事業者やクリエイターに関係する結果です。売れ筋商品をどこに置くかというルールではなく、測定の前提を点検する方法を示しています。

同じ商品を複数の場所に出すとき、この点は重要です。クリエイターなら同じダウンロード商品をコレクションページと発売告知ページに掲載することがあります。小売店ならカテゴリ一覧の順番を変えるかもしれません。商品、価格、見る人、見せ方が同時に異なる場合があります。位置の調整は、その比較の一部についての仮定なので、個別に確かめる価値があります。

Giovanni Compiani、Ilya Morozov、Stephan Seilerは、Prolificで募集した参加者に、順番と価格を無作為化した10冊の電子書籍から仮想的に選んでもらいました。参加者は一冊を選ぶ必要があり、「何も買わない」という選択肢はありません。今回は、分析対象となった各回答の最初の課題を使い、選んだ本を除いて行う後続の課題は使いません。^[1]

原著者はすでに、順位や価格に対する反応を報告しています。研究全体のテーマは、テキストや画像を使って商品間の代替関係を推定することです。今回の問いはより限定的です。位置を表す一つの項を置き換えると、学習に使っていない参加者の選択を、よりよく予測できるのでしょうか。

原著者の選定条件を適用すると、9,265件の回答が残り、Prolificの参加者IDは9,264種類ありました。一つのIDに二つの回答があります。この二つを同じグループに保ち、その参加者の合計の重みをほかの参加者と等しくしました。一件の回答が必ず別の人を表すわけではなく、最初の課題も、その人にとって実験に初めて触れた機会とは限りません。^[2][3]

採用した元データの日付は2024年6月11日から6月26日です。論文には6月14〜27日とあるため、この違いを明記し、日付による除外は行っていません。確認した資料では、国や年齢の参加条件を確定できませんでした。米国の買い手や、ほかの国の人口を代表する推定ではありません。^[1][2]

事前に決めたスコアで比べると、柔軟な位置モデルのほうが、評価用に分けた参加者の選択をよく予測しました。両モデルとも、提示された本とその表示価格を考慮します。違うのは位置の表し方だけです。

基準モデルは、リストを一つ下がるごとに同じ係数を使います。柔軟なモデルは、最初の位置を基準に、2番目から10番目に別々の調整を置きます。自由度が増える一方、推定するパラメーターも増えます。学習に使ったデータによく合うだけでは、どちらがよいかは決まりません。

そこで、6,176人で両モデルを学習し、残りの3,088人で評価しました。同じ参加者の回答は、すべて学習側か評価側のどちらかにまとめています。二回回答した参加者が評価側に含まれるため、評価用データは3,089件です。

予測の比較には、負の対数スコアを使いました。人が実際に選んだものに高い確率を割り当てるほど、モデルのペナルティーは小さくなります。その選択にごく低い確率しか与えないと、ペナルティーは大きくなります。負の対数スコアの平均は、低いほうがよい値です。

評価用データでの平均は、基準モデルが2.2260、柔軟なモデルが2.2154でした。単位は自然対数の単位であるnatです。これは予測スコアであり、正答率ではありません。モデルがすでに見たデータを説明するという容易な課題だけで判断しないよう、学習時と評価時のスコアを並べています。

参加者ごとの対応を保って比べた改善幅は、平均0.0106 natで、おおよその95%区間は0.0044〜0.0168でした。ここでは、正の値が柔軟なモデルの改善を表します。このスコア尺度での差は小さいものの、区間はゼロより上にあります。^[4]

この区間は、学習済みの二つのモデルを固定し、参加者グループ同士が独立であると仮定しています。別の学習用標本でモデルを推定した場合の不確実性は含みません。結果は、選定された過去の課題で予測が改善したことを支持しますが、スコアの差を売上増加に換算できるわけではありません。

全位置を比べると、総合スコアだけでなく内訳も必要な理由が分かります。各位置が実際に選ばれた割合と、各モデルが割り当てた確率の平均を比べます。評価用グループで参加者ごとの重みを等しくした平均であり、クリック率ではありません。

最初の位置が選ばれた割合は17.16%でした。基準モデルの予測は14.64%、柔軟なモデルは17.73%です。10番目では実際が9.18%に対し、予測はそれぞれ6.37%と8.74%でした。このリストの両端では、柔軟なモデルのほうが実際の値に近くなりました。

柔軟なモデルが、すべての位置で近かったわけではありません。4番目の実際の割合は10.91%でした。基準モデルは11.21%、柔軟なモデルは9.26%と予測しました。柔軟性を増やすと評価用データ全体のスコアはよくなりましたが、この位置でのずれは大きくなりました。

次の表は、実際の割合から予測割合を引いた値です。正の差は、その位置が選ばれる割合を過小に予測したこと、負の差は過大に予測したことを表します。10位置をすべて見せることで、両端の見栄えのよい結果だけで比較全体を判断するのを避けます。

位置別の行は記述的な比較であり、それぞれの統計的有意性を主張していません。この実験は視線や注意を測っておらず、この分析から位置による違いの理由は分かりません。また、実際の割合が曲線的に並ぶことだけで基準モデルを否定することもできません。位置項が線形なのはモデル内部の選好スコアに対してであり、選択割合に対してではないためです。

最初と最後の実際の割合を単に差し引くと、別の問いに答えることになります。それらの割合は、さまざまな商品と価格での選択をまとめたものです。二つのモデルは、どの本が提示されたかと、その価格を考慮してから10の選択肢に確率を割り当てています。両端の差も、モデル同士の比較も、実際のストアで特定の商品を動かした場合の結果を示すものではありません。

商品を比較する前に、短い測定計画を書いておきます。次のテンプレートは登録不要で使える記入用の例です。前提を確かめるという研究の示唆を応用したもので、同じモデルがどのストアにも適していると約束するものではありません。

判断：「[期間]に、[ページまたはキャンペーン]について[比較する商品、または変更する見せ方]を決める必要がある。」都合のよい指標を選ぶ前に、何を決めたいかを明らかにします。

成果：「[選択、クリック、カート追加、購入]を測定する。」実際にデータで確認できる成果を選びます。提示した選択肢、順番、表示価格も一緒に残します。必ず一つを選ぶ課題の結果と、購入の結果は分けて扱います。

単位：「分析単位は[参加者、または明確に定義した別の単位]とする。再訪問や複数回答は[ルール]で扱う。」新しい人への予測を評価するときは、同じ人の観測をまとめます。匿名のセッションIDだけで、一人の固有の人物だと判断しないでください。

比較：「両モデルで、同じ商品、価格情報、対象となる観測を使う。異なるのは[位置についての仮定]とする。」柔軟な方法だけでなく、単純な比較対象も決めておきます。

評価：「学習前に[定義したグループ]を評価用に分け、[指定したスコア]で比較する。すべての位置を示す。」結論が出ない場合や悪化した場合の伝え方も、結果を見る前に決めます。

用途：「この結果を[測定上の判断]に役立てる。[事業上の判断]を行う前に、[ここでは測っていない事業上の成果]の証拠が必要である。」この一文が、予測の練習をいつの間にか売上予測に変えてしまうのを防ぎます。

架空のクリエイターが、文章を書くためのワークブック、ワークショップ、そのセット商品を売っているとします。セット商品は発売告知ページの最上部にあり、最も多くクリックされています。クリエイターは、ほかの商品説明を書き直そうと考えています。

測定計画を作ると、まず確かめる問いが変わります。観測しているのはクリックであり、販売ではありません。どの商品を、どの順番で、いくらで表示したかが、手元のデータから分かる必要があります。セット商品が常に一番上なら、そのデータではセット商品自体と位置を明確に分けられません。

計画の記入例は次のとおりです。「位置を考慮する現在の方法が、新しい訪問者のクリックを予測できるかを知りたい。同じ商品と価格情報で比較し、同じ人の繰り返し観測はまとめ、全位置の比較を示す。クリックの記録から購入については主張しない。」これは測定の問いを示す架空の例で、想定した分析結果ではありません。

次に考えられるのは、成果の定義を保ちながら、商品と位置を区別できるだけの変化がある比較を計画することです。そのうえで、評価用に分けたグループを使い、単純な位置調整と柔軟な方法を比較できます。これはそのページを対象にした新たな研究であり、本の実験から期待クリック率を得られるわけではありません。

柔軟な方法のほうが評価用グループをよく予測するなら、レポートでの位置の扱いを見直す理由になります。それでも、セット商品を移動すると売上が増えるとは言えません。事業上の判断には、実際の表示変更と、事業にとって重要な成果についての証拠が必要です。

比較しても結論が出ない場合は、そのまま伝えるべきです。柔軟性が高いだけで、事業に役立つ道具になるわけではありません。実務上の利点は、手順が明確になることです。データから何を区別できるかを理解し、測定の前提を確かめ、その後で別の実験が必要かを判断します。

原著者が編集した回答データと、元の選定ルールを使いました。最初の553件の予備・テスト記録は、ファイル内の固定位置に基づき除外します。残る対象は10,775件です。理解度の条件を適用すると9,344件、回答完了の条件を適用すると9,265件になります。^[2]

同意、終了ステータス、最低60秒の所要時間という条件は、それぞれの適用段階で追加の回答を除外しませんでした。回答完了と所要時間は課題への接触後の条件なので、分析対象は選定された標本です。

Prolificの参加者IDでグループを定義します。選択結果を使わず、決定論的なハッシュ分割でグループの3分の2を学習用、残りを評価用に割り当てます。同じグループ内では、採用した最初の課題の回答に、その参加者の重みを均等に分けます。学習、スコア計算、位置別の表に同じ重み付けを使います。^[3]

両モデルは、書籍を区別する九つのダミー変数と一つの線形価格項を持つ、正則化なしの多項ロジットです。基準モデルは一つの線形位置項を加え、計11パラメーターです。柔軟なモデルは位置を区別する九つのダミー変数を加え、計19パラメーターです。最初の位置と、数値として最小の商品IDを基準カテゴリにします。対象となる選択肢集合には同じ10商品が含まれ、選んだID、価格、位置の整合を確認しています。

学習用グループでモデルを推定し、その係数を保持してから、評価用の選択を採点します。区間の計算には、参加者ごとの対応のあるスコア差の標準偏差、3,088人の参加者単位、3,087の自由度を使います。スコア差の正規性などの厳密な条件を満たす場合を除き、Student-t区間は近似です。10位置の比較は、すべて記述的なものとして扱います。^[4]

基準モデルの主たる最適化処理は、数値計算上の警告を返しました。それでも、別の初期値からの結果との比較を含め、推定前に定めた精度条件をすべて満たしました。最初の推定をそのまま採用しています。詳しい診断結果は再現用資料に含めています。^[5]

ダウンロードには、表示した結果、独自の分析コード、集計した数値出力が含まれます。元の回答行、参加者ID、書籍の画像は含めていません。元データは原著者の公開資料から別途入手してください。この再分析と解釈の責任はInfluence IQにあります。