ABテストの伸び悩みを打破するには？　～UXの観点を活かそう

デジタルマーケティングにおけるABテスト（A/Bテスト）は仮説検定の簡易版といえます。
複数パターンのどちらが成果につながるかを実際の数値結果を元に判断していくため、確実に成果を上げ続けることができる手法のように思われがちですが、実態として、成果は漸減していく傾向があります。
なぜABテストの成果は伸び悩むのか。
この記事ではその理由と解決法をご紹介します。
伸び悩みを打破するために役立つのがUXの観点です。

ABテストを繰り返していくなかで、だんだん成果が伸びなくなってくるケースは大変多いです。
それらのケースを見ていくと、伸び悩みの原因は大きく下記の３つに大別されます。


・個別最適化の改善はできるが、全体最適化の視点が抜け落ちがちだから
・質の良い仮説が出せないから
・そもそも仮説に基づいていないから


それぞれ背景を考えてみましょう。

全体最適化がなおざりになりがちなのは、ABテストの運用体制に由来します。
一般的に、大規模なWebサイトになるほど、各領域ごとにそれぞれ担当者が分担して運用と改善をすすめます。
結果として、ABテストを実施する領域がサイロ化し、ユーザはそれらの領域を横断してCVへと進むにも関わらず、横断する際の体験（UX）のつなぎこみがおろそかになりがちです。そうなると、いくら担当者が自身の領域で伸びしろを探したところで、離脱している実際の理由を見つけることができません。

つぎに、運用のなかで次第に質の良い仮説が出せなくなるのは、一般的な企画のスキームに由来します。
すなわち、GoogleAnalyticsに代表される定量計測結果から問題点のある箇所を推察するものの、そこで実施する打ち手は競合他社の模倣であったり担当者のそれまでの経験からの施策案からチョイスする、という企画の仕方に原因があります。
本来、自社Webサイト・商材・ユーザの特徴は各社・各タイミングで異なります。
しかし、施策案の企画を模倣や使い回しでまかなっていると、検証の際、施策ごとに勝った理由をユーザ像などの仮説に沿って深掘りすることができず、次の改善案のブラッシュアップにつなげにくいのです。

そして、そもそも仮説に基づかずにただ運用を回しているケースも、成果が伸びにくいです。
ABテストを実施すること自体が目的になってしまっている企業もしばしばあるようです。
月ごとに改善を実施する回数を定められている場合もあり、なんとなく小手先のサイズ・フォント・色変更を繰り返すだけ、という状況になっているが、成果が上がらない、という相談も実際にありました。

つまり、成果の伸び悩みを打破するには「全体最適化の観点から、根拠を持って、質の良い仮説が出せる」状態を目指す必要があります。

ここまでの話をまとめると、実数が伸びない理由として下記の２つになります。

「Web全体の体験がつなぎ込めない・ちぐはぐになってしまいがち」
「成果につながる（ユーザが離脱してしまっている理由に向き合った仮説に基づいた）施策が思いつかない」

この2点を解決し、「全体最適化の観点から、根拠を持って、質の良い仮説が出せる」状態を実現するために必要となるのが、ABテストを実施する前の企画段階からユーザ像の解像度を高めていくことです。

そもそもABテストの基本的な思想は「結果の数値を信用し、勝ちパターンを残していくことが、漸近的に成果へと近づく」という発想です。
すなわち、現行の仕様に対してありうるたくさんの仮説をとにかく当てて、実際に出てきた数値を絶対視して進める手法といえます。
よって、ABテストにおける必要な姿勢とは基本的に「とにかくたくさんの施策を当てて比較を繰り返す」ことです。
しかし、この手法にも弱みがあり、運用を進めるなかで担当者は先述の問題点に頭を悩ませることになります。

この問題点を乗り越えるためには、検証によってユーザ像の解像度を高め、企画にも活かしていくが必要なのです。

一般的に、ABテストの発展形として紹介される手法は多変量テストです。
しかし、多変量テストはあくまで手法としての発展形であり、基本思想はABテストと変わりません。
ですので、多変量テストでは先述の２つの問題点を解決できないことも多いからです。
なぜなら、そもそも視野が狭い改善案しか出せない状況なのだから、クリティカルな改善案を準備できないからです。

クリティカルな改善案を出すためには、より深掘りするための検証サイクルを組み、担当者が企画に反映できるような座組が必要です。
検証をしっかり行い、企画段階からユーザ像の解像度を高めていくための改善点は下記の３つです。


・実施した施策の領域だけでなく前後のページも見る
・勝ちパターンのユーザ像を深堀りする
・チームメンバーと一緒にユーザを観察し、ユーザ像のアップデートと共有を重ねる

ユーザの行動を確認することで、ユーザがサービスを実際に利用する際の視点により近づけます。
これにより、CVまで一気通貫したサービス全体のUXを意識できるようになり、より離脱原因に近づいた改善案が出せるようになります。

ABテストの勝ちパターンが、なぜ数値の改善につながったかの理由を蓄積できていないケースは大変多いです。
ABテストでどのようなクリエイティブが勝利したのかを明文化しておくと、その後の改善方針を考える足がかりとなります。
勝利した理由を拡大することで、成功する確度の高い施策案の量産にも繋がります。

知見をチームで共有し垣根を下げるためにはこれまでの領域分担を急に変える必要はありません。
ユーザの行動を定期的にチームで確認する定例会を設けることで、全体最適化へのチームの意識を高めることができます。
領域をまたいだ改善が可能になり、知見が集積しやすくなります。

ABテストは成果を上げるためだけでなく、結果をしっかり検証して自社サイトのユーザ像をブラッシュアップにも活かすべき、というお話をここまでしてきました。
先述の３つのポイントを実践し成果へつなげた事例もご紹介します。
弊社が支援したある雑貨ECサイト様では、ユーザ行動を確認することで改善施策の案出をよりスムーズに進められています。

【ABテスト事例】ユーザ行動から「勝ちパターン」の伸びしろを発見！

「CVR改善の落とし穴と、成果を出す方法　‐ABテスト編‐」と題し、ABテストで成果を出した最新の成功事例と成果を出すためのポイントをホワイトペーパーにおまとめしました。

ぜひダウンロードいただき、貴社のWeb改善にお役立てください！

＞ホワイトペーパーをダウンロード

弊社は幅広いデジタル領域をコンサルティングで支援してきました。
ユーザ行動観察調査で培った知見をもとに、近年は特にデジタルにおけるユーザの行動データ分析に注力して各企業様の支援を行っています。
成果の伸び悩みや、改善すべき領域の特定にお困りの方は、ぜひUXグロースOps ビジネスインパクト解析をご検討ください。
ビジネスインパクト解析に限らず、自社サイトのユーザ像を検証したい方、サービスの目指すべき理想のUXをどう定義するかなどのお悩みについても、どのような支援が考えられるかのご相談から対応いたします。
まずは気軽にお声掛けください。