2010年02月23日
コンバージョン率に差が出たか見極めるには
ユーザビリティコンサルタント
薮 義郎
今月からバナー広告のクリエイティブを変更し、コンバージョン率（以下、CVRと略記）が微増した。しかし、CVRが微増したのはクリエイティブを変更したからなのか、たまたまの誤差の範囲なのか分からない。このようなことを経験した事はないでしょうか？
例えば、1月と2月でバナーのクリエイティブを変更したとしましょう。
この例では、CVRが0.9ポイント上昇していますが、果たして結果はクリエイティブによるものなのか、それとも誤差の範囲と考えられるのでしょうか？ 今回は、この疑問に答える、2つの統計的な手法をご紹介します。
方法1：真のCVRを推定する
1月のクリエイティブのCVRは5.8%と計測されましたが、これより１月のクリエイティブのCVRが5.8%に等しいかとは、統計的に言えません。CVR=5.8%というのは計測をした１月に対しての測定結果なので、もし2月も掲載したら5.8%かというと違います。CVRを見積もるために一定の期間しか測定しないので、真のCVRとの間に誤差が生じます。
では、その誤差をどのように見積もればよいのでしょうか。統計学によると、誤差は一般的に次のように近似的に見積もれます。
ここで、Nはクリック数です。また、有意水準は5%を採用しています。
この公式を適用すると、1月はCVR=5.8%=0.058、N=4952なので、CVRの誤差は0.65ポイントとなります。つまり、１月のクリエイティブの(真の)CVRは、5.8-0.65=5.15%から5.8+0.65=6.45%の間にあるのが妥当ということになります。一方、2月のクリエイティブでは、(真の)CVRが6.00%から7.40%の間にあることが妥当ということになります。
もし1月と2月のCVRの区間が重なっていない、もしくは区間の重なりが小さいならば、1月と2月ではCVRに差があるだろうということになります。しかし、この場合は区間の重なりを見ても、判別できそうにはありません(下図参照)。
方法2：2つのCVRに有意な差があるかを検定する
クリエイティブのCVRを比較する方法として、もう一つ、CVRに有意な差があるか検定することが挙げられます。本コラムでは、細かな理論的な説明は省略して、その方法のみをご紹介します。。
まず、以下の値を計算します
ここで、CVR1、CVR2はそれぞれ1月、２月のコンバージョン率であり、pは１月〜２月のコンバージョン率です。また、N1、N2はそれぞれ1月、２月のクリック数です。
さて、2つのCVRに有意な差があるのか検定するのは簡単で、上の値dを計算してみて、値dが-1.96?1.96の間にあるか判定すればよいのです。もし計算した値dが-1.96〜1.96の範囲になければ、2つのCVRに(有意水準5%で)有意な差がある事になります。
上記の例の場合、CVR1=5.8%、CVR2=6.7%、p=(285+332)/(4952+4963)=6.2%、N1=4952、N2=4963なので、上の値dは-1.86となります。したがって、値dが-1.96〜1.96の範囲に入っているため、2つのCVRには有意な差があるとは言えません。
ウェブ上での施策は成果を数値で測定できるということが、テレビCMなどのマス広告と比べた際の利点ですが、その成果を評価する仕組みが必要となります。今回紹介した2つの方法で完全に評価できるとは限りませんが、評価の目安として利用してみてはいかがでしょうか。
- ユーザの行動や広告との接触を詳細に分析するには
- アトリビューションの具体的な分析方法を解説
- 分析事例も多数掲載
体験版(無料)の管理画面を操作して、使いやすさと機能を確認いただけます
機能の詳細や導入事例を確認いただけます
顧客心理分析により成果創出を実現するデジタルマーケティング支援カンパニー
UXチームクラウド USERGRAM（ユーザグラム）
