分析が難しい長期施策の効果検証は、どのように取り組むといいのか

長期出稿施策の効果を正確に測ることは難しい

長期施策とは、数か月～年単位で行うプロモーションである。テレビ番組のスポンサーになり、タイム枠でテレビCMを長期間出稿する。スポーツチームのスポンサーとなりユニフォームに企業ロゴを掲出をするなど様々な取り組みがある。これらの施策は企業・商品のブランドイメージの向上および認知・想起獲得を目的に活用されることが多い

プロモーション長期施策の一例

このような長期施策の効果測定は一般的に難しいと言われている。長期施策のターゲットは顧客のみに限らず、社員、投資家、取引先など様々なステークホルダーを設定することが多く、調査対象範囲が広がりやすい。　また長期施策の成果指標として、認知率・好感度のような心理指標を設定することが多いが、態度変容をログデータ等で検証することは難しく、アンケート等で調査を行う必要がある。長期施策は施策開始から効果が出るまでに時間がかかるが、アンケートは調査期間が長くなるほど景気や競合の動向など施策以外の要因で生じた効果との切り分けが難しくなるため、施策成功したかどうかの判断が難しいという課題がある。

長期施策の効果測定がなぜ難しいのか

一般的なプロモーションの効果検証に用いられる分析として①実績データ分析、②定点調査、③シングルソース調査などが挙げられる。実績データ分析はPOSデータやアクセスログの変化を分析するもので売り上げや客数などの成果指標を計測することには適しているが、長期施策のKPIとして設定されることの多い認知率などの心理的指標の計測はできない。　

プロモーションの効果検証に用いられる分析と長期施策への適用可否

定点調査は年に1回や年に複数回同一項目で調査を行いKPIの変化を分析するものである。トレンドの変化を捉えるには有効な分析だが、調査結果が施策以外の要因による影響を受けやすく広告効果とKPI上昇の因果を特定することが難しい。　最後にシングルソース調査は同一回答者に対し、施策の事前事後のKPI変化を分析する手法である。広告効果とKPIの因果関係を分析できる点で優れているが、長期施策のように時間経過で広告効果が減衰していくものは効果測定が難しく、アンケートモニターを長期間拘束することになるため、調査費用も高額になりやすいことが課題である。

定点調査とシングルソース調査の長期施策分析適用における課題

調査・分析方法の工夫をすれば長期施策の効果検証は可能

　上記で説明したとおり、長期施策の効果検証を従来の調査・分析手法をそのまま流用して効果検証を行うのは難しい。そこでNRIでは従来の調査・分析手法を工夫することで長期施策の効果検証を行っている。本記事では調査方法に工夫を行って実施する「接触者定点調査」と分析方法を工夫して実施する「補正差分法」について紹介する

長期施策の効果測定を行うための工夫

「接触者定点調査」はタイム枠でのテレビCM出稿や長期のデジタル広告施策、「補正差分法」はスポーツスポンサーやネーミングライツなどの効果検証に適した分析である

調査・分析における工夫と有効な長期施策の関係

広告接触者の長期的な態度変容を継続聴取することで、長期施策を評価する

生活者の行動習慣（テレビ視聴習慣、SNS利用状況等）と広告の出稿状況から、生活者が実際に広告に接触する機会を推定して効果検証を行う調査方法をOTS（Opportunity to See）調査と呼ぶ。このOTS調査は、個人情報の取り扱いが厳格化され、デジタル広告等で横断的に接触ログが取得することが難しくなった現在において、広告の接触を判定する調査方法として活用が進んでいる。接触者定点調査は、このOTS調査を2-3ヶ月に１回の頻度で実施し、広告接触による態度変容を長期的に把握することで、長期施策の効果検証を行うものである。

接触者定点調査の概要（テレビCMのタイム出稿の場合）

接触者定点調査は、広告の認知者ではなく、接触者に対して効果検証を行っていることが最大の特徴である。広告認知で調査した場合、その商品やサービスにもともと興味を持っている人ほど広告を認知しやすい傾向にあるため、認知者と非認知者の属性に偏りが生じやすくなるという課題がある。一方で、広告接触で調査した場合、接触者と非接触者における、もともとの商品・サービスへの興味の偏りは、広告認知よりも緩和される傾向にあるため、広告認知者に対する分析手法よりも回答者のバイアスを取り除いて分析することが可能となる。

接触者定点調査の特徴

某飲料メーカーでは、接触者定点調査を利用して、提供番組内で継続出稿しているテレビCMのブランドKPIへの効果を分析している。提供番組の視聴者を広告接触者、非視聴者を広告非接触者と定義し、そのKPIの差分を施策効果として推定している。複数回にわけて調査を実施し、その結果を時系列で比較することで、継続施策によってブランドKPIが高まっているかを確認している。また、出稿している番組ごとに数字を比較することで、「どの出稿枠が望ましいか？」を検討することも可能である

活用事例（KPIへの効果確認）

施策認知者と非認知者の属性を揃えることで、施策の効果を推計する

補正差分法は、接触者での調査が難しく、広告認知で効果検証を行う際に有効な工夫である。広告認知者と非認知者の属性やふるまいの違いを可能な限り除去することで、認知者と非認知者の属性の違いによって生じる効果の差を補正し、施策の効果をより正確に推計する方法である。

補正差分法の概要

補正差分法では、傾向スコアマッチング（PSM）という手法を用いて、広告非認知層の中で、広告認知層と属性が近しい人を抽出し、分析に用いることが多い。広告認知グループと非認知グループでは、年齢・性別・メディア利用状況などの属性に違いが生じている可能性が高いため、広告非認知者の属性を、広告認知者の属性に揃える形で補正を行い、KPI保有率を比較することで、施策の効果検証が行いやすくなる。

本記事では長期施策の効果検証が一般的に難しいこと、そしてその対応策として接触者定点調査のような調査方法の工夫や傾向スコアマッチングを用いた補正差分法のような分析方法の工夫を紹介した。長期施策の効果検証を検討される場合は是非参考にしていただきたい。

補正差分法の特徴｜傾向スコアマッチング（PSM）