2009年12月01日
結果をただ比較するABテストよりも

株式会社ビービット
ユーザビリティコンサルタント
日下部　諒子

サイトページやクリエイティブ変更の効果を測定する手法であるABテストは、広告・サイト運営にひろく取り入れられています。

ですが、ただ結果を比較して「Aの方がよかった」「Bの方がよかった」と言っているだけでは、次につながりにくくもったいない状態です。
仮説検証のインプットとしてABテストを利用することで、ABテストは長期的改善につながる手法となります。

お菓子を売るECサイトのメインビジュアルを例にします。
下図のような、A：作り手の写真と B:お菓子の写真とでABテストを実施する場合、テストの計画段階と分析段階で仮説検証を意識することで、得られるインプットがどう変わるか考えてみます。

広告クリエイティブの比較

テスト1：ただ比較する場合

テストの計画段階
「お菓子のサイトでは、作り手やお菓子の写真を使用しているところが多いな。どちらが売上げがよくなるだろう」
分析段階
「お菓子の方がよかったから、お菓子をメインビジュアルで採用しよう」

単純なクリエイティブのテストでは、ここで改善のステップがとまってしまいます。

テスト2：仮説検証のインプットとする場合

テストの計画段階
「メインビジュアルでは、（お菓子の写真で）直感的においしさを伝えるよりも、（作り手の写真で）安心感や商品にこめた愛情を伝える方が売上げにつながるのではないか」
分析段階
「お菓子の場合には、作り手がわかる安心感や商品への愛情よりも、ケーキから伝わる直感的な”おいしさ”の方が売上げにつながるようだ」
「ならば、サイト全体を通して、直感的に商品が”おいしそう”だとわかる写真や表現を使用することにしよう」

テストするそれぞれの素材に仮説を持つことで、一歩改善のステップを進めることができます。（この例は、説明のための創作です。検証内容や分析結果は正しいものではありません。）

このように、ABテストの計画段階と、結果の分析段階で仮説検証を意識することで、最適最善のクリエイティブや、サイト全体、マーケティング全体へのインプットを得ることができます。

インターネットでは、比較的簡単にテストできるため、まずやってみよう！と、とりあえず実施してしまうことも多いと思いますが、一歩立ち止まり、仮説をたて分析することで、得られるインプットは多くなります。こうすることで、自社に知見がたまり、長期的に成果をあげることにもつながるでしょう。

※このエントリーはビービットの運営する『ユーザビリティ実践メモ』2009/10/26の記事を転載したものです。