• トップ
• 機能
• 課題別：広告運用を効率化したい
• 課題別：直接・間接効果を正しく把握したい
• 課題別：運用のPDCAを仕組み化したい
• 価格
• 活用事例・実績
• 導入の流れ・サポート
• よくあるご質問
• 代理店の方へ

• 
• 

• 

• アトリビューションの本質は、「後付けで広告を過大評価する取り組み」ではない
• 再訪を前提にした啓蒙シナリオを策定
• CV数が多いのはヤフーだが、売上への貢献は？

• 

2010年03月24日
ネットマーケティングにおける統計的検定の活用事例

以前、バナー広告の2つのコンバージョン率(CVR)に差が出たのかを調べる手段として、次の2つの手段を取り上げました（コラム：「コンバージョン率に差が出たか見極めるには」を参照）。

1. 真のCVRを推定する。
2. 2つのCVRに有意な差があるか検定する。

しかし、これらの方法はCVRについてだけでなく、割合・比率を扱う他の場面で活用できます。特に2つ目の「2つのCVR（割合・比率）に有意な差があるか検定する」という方法は、以下の場合にも適用できます。

• 入り口別のコンバージョン率の評価
• リスティング広告のコンバージョン率の評価
• A/Bテストの結果評価
• ダイレクトマーケティング・キャンペーンの比較評価

今回は、以前ご紹介した事例・検定方法を復習した後、活用範囲を広げられるような事例を2つご紹介します。

復習：バナー広告変更の効果を測定

以前のコラムでは、バナー広告のクリエイティブを変更した事例を取り上げました。（表1参照）

コンバージョン率に統計的に差が出たかを検定するステップは2つに分かれていました。

（ステップ1） 次の値を計算します。

ここで、CVR1、CVR2はそれぞれ1月、２月のコンバージョン率であり、N1、N2はそれぞれ1月、2月のクリック数です(表1参照)。また、pは1月〜2月の2ヶ月間のコンバージョン率で、p = (1月のCV数＋2月のCV数)÷(N1+N2) = 6.2%　です。この場合、dの値は

となります。

(ステップ2) 計算した値dが-1.96〜1.96の範囲になければ、CVRに有意な差があることになります。また、そうでなければ有意な差があるとは言えません。

ここで紹介した検定は、CVRなどの割合・比率を検定する一般的な方法であり、上記以外にもいろいろなシーンで使うことができます。以下では、ネットマーケティングでもよく見かける事例を2つ紹介します。

事例1：シナリオごとの成果を測定

あるネット証券では、リスティング広告による集客からサイトでの口座開設まで一貫した施策を打っています。具体的には、検索するキーワードによって訪れるユーザのタイプが異なると考え、キーワードごとにサイトでのコミュニケーションの取り方を変えています。(下図参照)

施策3つそれぞれの成果を調べるために、一定期間データを計測し、以下のような結果を得ました。この結果から、施策Aが最も成果が上がっていると考えてもよいでしょうか？

事例2：キャンペーンの効果を測定定

ある食品ECサイトでは、初回購入のユーザに限り、オススメ食品を詰め合わせたトライアルパックを発売しています。この度キャンペーンとして、トライアルパックの購入者に特典をプレゼントすることにしました。ただし、特典はA〜Cの3つから選べることとしました。

キャンペーン終了後、各特典を選んだ購入者数と、リピート者数(2回目購入につながった人数)を調べると、以下のようになりました。

リピート率を見ると、特典Aが一番リピートにつながっており、特典Cがリピートにもっともつながりにくい結果になっています。しかし、これは統計的に正しい解釈でしょうか？

検定の活用方法

活用事例を2つご紹介しましたが、その2例が復習で取り上げたバナー2つの比較事例と異なる点は、

1. 比較対象が3つになっている
2. CVR以外の割合・比率も扱っている

の2点です。
1.に関しては、対象ペアすべてについて検定を行うことが考えられます。つまり、例1と2では、AとB、BとC、AとCそれぞれについて検定を行えばよいのです。
また、2.に関しては、表の項目を読み替えることで対応できます。例えば、例2で挙げた表3では、購入者数をクリック数、リピート者数をCV数、リピート率をコンバージョン率と読み替えることで、表１に対する検定をそのまま行うことができます。

上記の方針に沿って検定した、例1と例2の結果を次に示します。

・例1の検定結果

結論：施策AとCを比べるとAの方が良いことが分かりますが、AとBでは有意な差があることは確認できませんでした。継続的なウォッチが必要です。

・例2の検定結果

結論：特典Aが他の特典に比べてリピートにつながりやすいことは確認できましたが、BがCよりも良いとは言い切れません。

このように、2つの割合・比率の統計的有意差の検定は、いろいろな場面で適用できる便利なツールです。

接触回数データを読み取り、ユーザの行動や広告との接触を詳細に分析するには

• 広告効果測定ツール「ウェブアンテナ」

関連コラム

• 疑う事からはじめる定量分析講座 〜その 1〜
• コンバージョン率に差が出たか見極めるには
• →デジタルマーケティング講座の一覧を見る