インフルエンサーマーケティングの測定：その質問で誰を選んでいますか？

ある企業が、クリエイターのコンテンツが買い物の中でどのような役割を果たすのかを知りたいと考えています。担当者の一人は、投稿を見た後に何かを買った記憶がある人へのインタビューを提案します。別の担当者は、クリエイターが購入判断に影響すると答えた人へのインタビューを提案します。どちらも同じオーディエンスを見つけるための妥当な方法に思えます。しかし、同じ人の回答を組み合わせると、この選択を詳しく考える必要があることが分かります。

Pew Research Centerは、二つの結果をすでに別々に公表しています。SNS利用者の約30%がクリエイターの投稿を見た後に購入したと答え、39%がクリエイターは購入判断に少なくとも多少影響すると答えていました。本分析では、一人ひとりの二つの回答を組み合わせたまま集計します。そこで見える重なりは、別々の割合だけでは分からない情報です。^[2]

購入経験を尋ねる質問では、重み付け後のSNS利用者全体の30.2%が対象に選ばれます。普段の影響を尋ねる質問では38.6%です。両方で選ばれる割合は24.8%でした。購入の質問だけで選ばれる人は5.4%、影響の質問だけで選ばれる人は13.8%です。残る56.0%は、どちらの条件でも選ばれませんでした。^[3]

この四つのグループは、二通りのインタビュー条件に当てはまるかどうかを表します。どちらの条件でも、明確に肯定する回答だけが対象になります。それ以外には、不確かな回答や回答拒否も含まれ、元の表ではそれぞれ区別しています。したがって、「どちらでも選ばれない」は、その全員が両方の質問を明確に否定したという意味ではありません。

この違いは、インタビューの質問項目を作る前から実務に関わります。対象者を選ぶ条件を変えると、招待される人も変わるからです。対象となるグループが大きくなっても、小さい方のグループに人が加わるだけとは限りません。この比較は、同じ回答に二つの定義を後から当てはめたものです。質問の表現を変えたために回答が変わったと示す無作為化実験ではありません。

それぞれの合計だけを見ると、影響を尋ねる質問で選ばれるグループは、購入を尋ねる質問より8.4パーセントポイント大きい、と説明できるでしょう。これは38.6%と30.2%の差です。しかし、その差だけでは、対象になるかどうかが変わる人の全体を表せません。

まず購入経験を条件とし、それを影響の条件に置き換えます。両方で選ばれる24.8%は対象に残ります。購入の条件だけで選ばれた5.4%は対象から外れ、影響の条件だけで選ばれる13.8%が加わります。加わる人と外れる人を合わせると、2022年の米国調査における対象SNS利用者の19.2%になります。これは重み付け後の割合です。^[4]

全体を100と置くと、この計算を把握しやすくなります。約24.8が残り、約5.4が外れ、約13.8が加わります。これは割合を100の尺度で表したもので、回答者を小数人数で数えているわけでも、次の顧客100人を予測しているわけでもありません。同じ人が二つの質問に答えた、過去の調査を説明する計算です。

二つのグループの大きさが異なれば、一定の違いは必ず生じます。仮に購入の質問で選ばれる全員が影響の質問でも選ばれたとしても、大きい方には8.4パーセントポイント分の人が加わります。実際の回答では、選ばれるかどうかが異なる割合は19.2パーセントポイントで、この最小値を10.8パーセントポイント上回りました。これは算術的な比較であり、有意性の検定ではありません。^[4]

企業のレポートでは、新たに加わる人と対象から外れる人の両方を示す必要があります。大きくなった合計だけを伝えると、インタビューで知りたかった特定の経験を持つ回答者が外れることを見落としかねません。

クリエイターの投稿を見た後に購入したと報告した人を出発点にすると、その82.1%は、クリエイターが購入判断に少なくとも多少影響すると答えています。これは、「購入経験のある人に加えて、影響を受けるとの回答も必要にしたら、どの程度の人が対象に残るか」という問いへの答えです。

出発点を逆にすると、答えは64.3%です。少なくとも多少の影響を報告した人のうち、その割合の人が投稿後の購入経験も覚えていました。同じ重なりを、より大きなグループで割っています。どちらの割合も正しいものの、どちらもインフルエンサーマーケティング全般の有効性を測る数値ではありません。^[3]

購入経験がすでに参加条件で、影響を尋ねる質問を追加するか検討する場合は、最初の方向を使います。感じている影響を出発点にし、購入の記憶を話せる人を知りたい場合は、逆の方向を使います。数値がどの判断に役立つかは分母で決まるため、分母は数値のそばに示す必要があります。探索的なインタビューによっては、ここで観察された82.1%ほどの重なりがあれば、一つの質問で対象者を選ぶ判断もあり得ます。ただし、その条件で誰が対象から外れるのかを受け入れることが前提です。

二つの質問が同じ答えになるとは限りません。一方は過去のいつか起きた出来事を尋ね、もう一方はクリエイターが普段の購入判断にどの程度影響するかを尋ねています。過去に購入した経験があっても、普段はあまり影響を感じないことがあります。影響を感じていても、購入した記憶がないこともあります。これは考えられる解釈であり、本分析で確認した理由ではありません。

追加のインタビューでは、回答の意味を決めつけずに違いを掘り下げられます。どの購入を思い浮かべたのか、投稿の何を覚えているのか、どのような判断を考えて答えたのかを尋ねます。回答の違いを、その人が混乱している、または影響を隠しているという非難に結び付けないことが大切です。

購入の質問には「分からない」という選択肢がありました。また、一方または両方の質問に回答しなかった人もいます。少なくとも一方に不確かな回答または回答拒否がある人は、重み付け後のSNS利用者全体の7.2%です。主分析では、この人たちも残しています。対象者のこの二つの項目には、システム上の欠損値はありませんでした。^[5]

この扱いは、影響を報告したグループを出発点にする場合に特に重要です。少なくとも多少の影響を報告した人の64.3%は購入経験を報告し、28.9%は購入していないと答え、6.7%は購入の質問に「分からない」と答えたか回答しませんでした。最後のグループは、購入を確認できた人でも、明確に購入を否定した人でもありません。

あらかじめ決めた感度分析として、購入には「はい」か「いいえ」、影響には「大きい」「少しある」「まったくない」と答えた人だけでも計算しました。残るのは、重み付け後の対象者全体の92.8%です。この限定したグループでは、影響を報告した人のうち購入経験も報告した割合は64.3%から69.0%になります。逆方向の割合は82.1%から82.4%に変わります。^[5]

割合が高くなったからといって、限定した計算の方が正確だとは言えません。不確かな回答や無回答を除いたグループについての別の問いに答えているためです。こうした回答を説明なく除くと、誰も回答を変えていないのに、集計結果の見え方が変わります。

インタビューを計画する際は、案内を送る前に不確かな回答の扱いを決めましょう。「分からない」と答えた人は、特定の購入を詳しく聞く対象には向かなくても、クリエイターのコンテンツについて何が記憶に残るかを知るうえでは役立つかもしれません。これは調査目的についての選択であり、不確かな回答を別の回答に置き換える理由にはなりません。

過去の購入について聞くなら、まず本人が話すことになる経験を尋ねます。クリエイターが判断に影響するという一般的な回答だけでは、投稿後の購入を思い出せるとは分かりません。購入経験を尋ねる質問の方がこの募集目的に近いものの、調査の「これまでに」という期間は、最近の商品発売について調べる場合には広すぎるかもしれません。

クリエイターのコンテンツが商品を検討する過程にどう関わるかを聞くなら、購入経験を条件にする必要はないかもしれません。購入の記憶がなくても、影響を報告した人には話せる経験がある可能性があります。この調査からは、その人たちがブランドを知ったのか、商品を比較したのか、判断を先延ばしにしたのか、別の行動を取ったのかは分かりません。これらはインタビューで聞けるテーマであって、このグループについて確認された結果ではありません。

経験を比較したい場合は、両方の質問をすることで、回答の組み合わせが異なる人を意図的に含められます。募集要項では、両方を報告した人、一方だけを報告した人、不確かな回答をした人を区別できます。どれかのグループの方が正直で、価値が高く、将来購入しやすいと仮定する必要はありません。

両方を肯定することを条件にすると、重み付け後の調査対象者の24.8%が選ばれます。どちらか一方の肯定でよければ44.0%です。前者は両方の経験の報告を必要とする調査に向き、後者はより幅広い比較を可能にします。これは調査目的の違いです。インタビューで何を知りたいかが分からなければ、どちらの割合からも最適な選択は決められません。

オーディエンスについての資料を作るインフルエンサーも、同じ表現の選択に直面します。投稿後に購入した記憶がある人がいるという記述は、購入の記憶についての記述として扱う必要があります。本人が感じる影響について述べる場合も、その質問と分母を明示します。どちらも、メディアキットに載せただけで、そのクリエイターの売上への貢献に置き換えられるものではありません。

こうした区別により、オーディエンス調査とキャンペーンの実績報告を分けられます。いつか、いずれかのクリエイターについての質問では、ROIの計算に必要なクリエイター、キャンペーン、支出、売上を特定できません。特定のキャンペーンを評価するのであれば、その範囲と成果を示す証拠を別に定める必要があります。

次のクリエイターとの提携に向けて、スキンケア企業がインタビューを準備しているとします。担当者は、顧客が商品の実演を見てから、試すかどうかを決めるまでの話を聞きたいと考えています。これは違いの使い方を示す架空の例であり、Pewの調査で観察された企業やキャンペーンではありません。

実際に購入した経験の話が必要なら、該当の商品カテゴリーについてクリエイターが話すのを見た後に購入した記憶があるかを尋ね、その出来事を詳しく話してもらえます。調査の「これまでに」という表現が目的に合うと決めつけず、適切な振り返り期間を指定するべきです。商品カテゴリーや期間を変えれば、新たな質問になります。そのため、Pewの割合から募集対象になる人の割合を予測することはできません。

一方、検討の過程を知りたいなら、購入しなかった人も含め、クリエイターのコンテンツが検討内容に影響したと答えた人を招けます。その場合は、何が判断に影響し、その後どうなったかを掘り下げます。参加者全員を購入者とみなすところから始めるわけではありません。

大切なのは、企業がどのような話を聞く必要があるかです。両方の質問をすれば、違いを保ちながら、インタビュアーは予想外の回答を掘り下げられます。各グループの人数を無理にそろえたり、調査の構成比を自社のサンプルに再現したりする必要はありません。

短い募集要項に、次のようにまとめられます。「知りたいのは［経験または判断］です。［該当するカテゴリーと期間］の中で、［必要な経験または影響の報告］に当てはまる人を招きます。不確かな回答は別に残し、［該当する場合は、その回答を生かすインタビューの目的］に使います。結果は［実際に尋ねた質問］に沿って説明し、キャンペーンに帰属する売上としては扱いません。」

この架空のスキンケア調査の最終レポートでは、購入経験の記憶、本人が感じる影響、またはその両方のどれを説明しているのかを明記します。この短い説明があるだけで、募集要項を選ぶ経営者にも、オーディエンス調査を提示するクリエイターにも、インタビューの意味が伝わりやすくなります。

Pew Research Center’s American Trends Panelの第111回調査を分析しました。調査は2022年7月5〜17日に、英語とスペイン語のオンライン自記式アンケートで実施されました。対象母集団は、アラスカ州とハワイ州を含む米国の18歳以上で、施設に入所していない成人です。公開ファイルには6,034人が含まれ、そのうち4,628人がSNSを利用していると答え、両方の質問の対象でした。主分析の分母には4,628人全員を残しました。^{[1] [6]}

この回では、American Trends Panelの回答者4,996人と、IpsosのKnowledgePanelから参加したレズビアン、ゲイ、バイセクシュアルの回答者1,038人を合わせています。また、American Trends Panel内の特定のグループを、母集団に占める比率より多く抽出する設計でした。本分析では、提供された最終ウェイトWEIGHT_W111を使用しました。これは、複数の調整と母集団の基準値を通じて、選ばれる確率や無回答の違いを補正するものです。単純に人数を数えても、この調査の重み付け後の推計値は再現できません。^[6]

組み合わせの結果を計算する前に、対象とする二つの質問、元の全回答の組み合わせ、二通りの肯定回答の条件、両方向の条件付き割合、感度分析を定めました。購入の条件は「はい」です。影響の条件は「大きい」と「少しある」を合わせます。「分からない」、回答拒否、システム上の欠損値は元の表で区別し、内容としての「いいえ」に置き換えることはありません。

元データの確認では、公開された行数、対象グループ、認められたコード、質問の分岐、ウェイトが有限の正の値であることを確かめました。二つの質問を別々に重み付け集計した割合は、Pewが公表した整数パーセントの結果を再現しました。SNSを利用しない人では、この二つの項目は質問対象外による空欄であり、分母から除外しています。公開資料には、機密性を守るため一部の値を限定的に変更したとの説明があります。本分析では、人口属性別や個人単位の主張はしていません。

各結果は、該当する分類の回答者のウェイト合計を、明示したグループのウェイト合計で割ったものです。記述的な重み付き割合として報告しています。公開ファイルと付属の説明からは、今回の組み合わせの推計について正確な分散を求める手順を確定できないため、信頼区間、有意性検定、調査全体の誤差幅は付けていません。それでも、標本による不確かさ、記憶、質問の解釈は結果を考えるうえで重要です。^[6]

独立レビューでは、元の分析コードと、別途作成した架空のテストレコードを確認しました。ウェイトが異なる場合、不確かな回答、分母を逆にした場合も含みます。機密性のある回答者データを独立に再分析したわけではありません。ダウンロードには、範囲を限定した回答の組み合わせの集計、定義、元データのハッシュ、再現用コードが含まれます。回答者のレコード、識別子、ウェイトは再配布しません。^[7]

本稿で述べる意見は、政策への示唆を含め、著者のものであり、Pew Research Centerの意見ではありません。