2010年03月24日
ネットマーケティングにおける統計的検定の活用事例

株式会社ビービット
ユーザビリティコンサルタント
薮 義郎

以前、バナー広告の2つのコンバージョン率(CVR)に差が出たのかを調べる手段として、次の2つの手段を取り上げました(コラム:「コンバージョン率に差が出たか見極めるには」を参照)。

  1. 真のCVRを推定する。
  2. 2つのCVRに有意な差があるか検定する。

しかし、これらの方法はCVRについてだけでなく、割合・比率を扱う他の場面で活用できます。特に2つ目の「2つのCVR(割合・比率)に有意な差があるか検定する」という方法は、以下の場合にも適用できます。

  • 入り口別のコンバージョン率の評価
  • リスティング広告のコンバージョン率の評価
  • A/Bテストの結果評価
  • ダイレクトマーケティング・キャンペーンの比較評価

今回は、以前ご紹介した事例・検定方法を復習した後、活用範囲を広げられるような事例を2つご紹介します。

復習:バナー広告変更の効果を測定

以前のコラムでは、バナー広告のクリエイティブを変更した事例を取り上げました。(表1参照)

バナー広告のクリエイティブ別の効果測定

コンバージョン率に統計的に差が出たかを検定するステップは2つに分かれていました。

(ステップ1) 次の値を計算します。

CVRに有意差があるのかを検証するための数式

ここで、CVR1、CVR2はそれぞれ1月、2月のコンバージョン率であり、N1、N2はそれぞれ1月、2月のクリック数です(表1参照)。また、pは1月〜2月の2ヶ月間のコンバージョン率で、p = (1月のCV数+2月のCV数)÷(N1+N2) = 6.2% です。この場合、dの値は

CVRに有意差があるのかを検証するための数式

となります。

(ステップ2) 計算した値dが-1.96〜1.96の範囲になければ、CVRに有意な差があることになります。また、そうでなければ有意な差があるとは言えません。

ここで紹介した検定は、CVRなどの割合・比率を検定する一般的な方法であり、上記以外にもいろいろなシーンで使うことができます。以下では、ネットマーケティングでもよく見かける事例を2つ紹介します。

事例1:シナリオごとの成果を測定

あるネット証券では、リスティング広告による集客からサイトでの口座開設まで一貫した施策を打っています。具体的には、検索するキーワードによって訪れるユーザのタイプが異なると考え、キーワードごとにサイトでのコミュニケーションの取り方を変えています。(下図参照)

ウェブ(Web)広告の施策ごとに成果を測定

施策3つそれぞれの成果を調べるために、一定期間データを計測し、以下のような結果を得ました。この結果から、施策Aが最も成果が上がっていると考えてもよいでしょうか?

シナリオごとに効果測定

事例2:キャンペーンの効果を測定定

ある食品ECサイトでは、初回購入のユーザに限り、オススメ食品を詰め合わせたトライアルパックを発売しています。この度キャンペーンとして、トライアルパックの購入者に特典をプレゼントすることにしました。ただし、特典はA〜Cの3つから選べることとしました。

キャンペーン終了後、各特典を選んだ購入者数と、リピート者数(2回目購入につながった人数)を調べると、以下のようになりました。

キャンペーン特典別の効果測定

リピート率を見ると、特典Aが一番リピートにつながっており、特典Cがリピートにもっともつながりにくい結果になっています。しかし、これは統計的に正しい解釈でしょうか?

検定の活用方法

活用事例を2つご紹介しましたが、その2例が復習で取り上げたバナー2つの比較事例と異なる点は、

  1. 比較対象が3つになっている
  2. CVR以外の割合・比率も扱っている

の2点です。
1.に関しては、対象ペアすべてについて検定を行うことが考えられます。つまり、例1と2では、AとB、BとC、AとCそれぞれについて検定を行えばよいのです。
また、2.に関しては、表の項目を読み替えることで対応できます。例えば、例2で挙げた表3では、購入者数をクリック数、リピート者数をCV数、リピート率をコンバージョン率と読み替えることで、表1に対する検定をそのまま行うことができます。

上記の方針に沿って検定した、例1と例2の結果を次に示します。

・例1の検定結果

施策を比較し、有意差の有無を検証

結論:施策AとCを比べるとAの方が良いことが分かりますが、AとBでは有意な差があることは確認できませんでした。継続的なウォッチが必要です。

・例2の検定結果

施策を比較し、有意差の有無を検証

結論:特典Aが他の特典に比べてリピートにつながりやすいことは確認できましたが、BがCよりも良いとは言い切れません。

このように、2つの割合・比率の統計的有意差の検定は、いろいろな場面で適用できる便利なツールです。

接触回数データを読み取り、ユーザの行動や広告との接触を詳細に分析するには
関連コラム
明日からはじめる!アトリビューション分析基本の3ステップ セミナー資料を無料公開中 ダウンロードはこちら
  • アトリビューションの具体的な分析方法を解説
  • 分析事例も多数掲載
機能を詳しく解説した資料や、管理画面を見たい方はこちら

体験版(無料)の管理画面を操作して、使いやすさと機能を確認いただけます

機能の詳細や導入事例を確認いただけます

  • 体験版デモ画面を見る
  • 資料ダウンロード