株式会社エイチーム引越し侍様ABテストの勝ちパターンは本当に有効？ シーケンス分析で劇的に変化した エイチーム引越し侍の施策設計法

中川様： デザイナーとフロントエンドエンジニアが所属する部署のマネージャーを担当しています。Webサイトの制作やCVRの改善をチームメンバーと一緒に考えて実施しています。

立石様： 私は主にSEOを担当しています。最終的なKPIであるサービス利用者数を達成するためにオーガニック流入の拡大に向けた施策を行っています。

中川様： 引越し侍は10年以上の運営歴があり、データドリブンにABテストを重ねて成果を挙げてきたのですが、次第に施策が手詰まりになりCVR改善も頭打ちとなっていました。

そこで外部の力を借りようと、CVR改善の施策を提案してもらえるコンサルティング企業を探している際に、ツール導入も検討の余地があると気づきました。外部コンサルを入れれば短期的には成果は出るかもしれませんが、自社内にはノウハウがたまりづらい。
ツールをうまく使って自分たちで施策を設計できるようになれば、ノウハウが社内に蓄積され、中長期的にはチーム、そして企業の力が高まります。そちらの方がより大きな成果につながると判断しました。

サイト改善をサポートする支援会社やツールは多数あると思いますが、検討候補だった20超のコンサル会社・ツールの中からUSERGRAMを選択した決め手は何だったのでしょうか。
中川様： 今にして思えば、きっかけは説明に来てくれたビービットの担当者様のお話でした。
「一番効率のいいCVR改善のやり方は『迷いながらCVした人』をいかに迷わせないようにするか」という言葉に感銘を受けたんです。

サイトの改善策を検討する際、離脱して戻ってこなかったユーザーについ目が行きがちだったのですが、「パフォーマンス改善の一番の近道は、離脱して戻ってこなかったユーザーについて考えることではなく、すごく迷った末にCVしたユーザーの行動を徹底的に分析して、そのユーザーが迷わずCVするにはどうすればいいのかをひたすら考えることだ」と気づかされました。打ち合わせが終わってから、自分のチームメンバーにもすぐ伝えたほど興味深い考え方でした。

USERGRAMではCVしたユーザーの行動の順序や流れを簡単に把握できるので、「迷いながらCVした人」の行動を長期的に俯瞰して、どういう「状況」で迷いが生じたのかを理解し、ユーザー本位の施策へとつなげることができます。「いかに迷わせないようにするか」というメソッドを実践するためにうってつけのツールだと感じ、導入を決めました。

立石様： 正直なところ、本当に正しくユーザー分析が行えるのか懐疑的でした。

デジタルマーケティングの領域では、ボリュームゾーンとなるユーザーから徐々にターゲットを絞り込んでいくファネル型の分析をするのが一般的です。対してUSERGRAMの場合は真逆のアプローチで、一人ひとりのユーザー行動を分析し、ユーザー全体の行動を改善する施策を考える方法です。
そのため、分析している一人ひとりのユーザーが本当にボリュームゾーンなのか、全体傾向とは異なる例外的なユーザーではないか、という懸念が当初はありました。

ですが、実際にUSERGRAMを触り、ある程度のユーザー数を観察するうちにイレギュラーな動きをしているユーザーは検知できるし、USERGRAMの機能で特定の行動パターンのユーザーが全体のうちどれくらいの割合で存在するのかが算出できるので、“偏ったサンプリングではない”という安心感が得られるようになりました。

そのうえ、分析に慣れていない初心者でも直感的に操作して分析できますし、ページを離脱した後の回遊行動をユーザー単位で追えるのは、コンテンツマーケティングに携わる者として魅力的でした。コンテンツがどのように閲覧されているのかを細かく分析することで、コンテンツ改善のヒントを得ることができるからです。

中川様： 今もですが、ABテストツールを導入し、積極的に運用しています。ABテストにおいて、チャレンジャー側が勝てば「勝ち」とみなし、ABテストの勝率をチームのKPIとして追う、という方針です。

立石様： ABテストの前提となる、「ユーザーはこのように行動しているのでは」という仮説については、基本的に、競合分析や離脱率・直帰率などGoogleアナリティクスで取得できるデータを起点とし、このページで離脱率が高いのはなぜだろうという気づきを起点に、ユーザー視点に立って考えてみていました。

中川様： グループ内の他の企業・サービスの成功事例を横展開することも多いですが、定期的にユーザビリティテストも実施して改善につなげています。当社の新入社員に自社サービスを使ってもらい、使いづらかった部分を指摘してもらう、というやり方です。

中川様： USERGRAMを使えるようになって最初に着手したのが、「ある“勝ち施策”の検証」でした。その施策とは、フォームへと誘導するクリエイティブをファーストビューで表示するものなのですが、従来のものよりも高いCVRが計測されたため、同様のクリエイティブを複数のページで掲載していました。そして複数のページでCVRの改善が見られていたんです。

立石様： 同じクリエイティブを複数のページのファーストビューで表示することでCVRは上がりました。ですが、異なるページに流入しているということは、異なるニーズを持っているであろうお客様なので、同じ訴求のファーストビューを見せることには違和感を持っていました。

UX観点では本当にこれでいいのかと、たびたび議論していましたが、数値上は、同じクリエイティブを複数のページのファーストビューで表示した方がCVRで勝利していたため、ファーストビュー統一からの脱却に踏み切れなかったのです。

中川様： そこでUSERGRAMを利用し、ファーストビューの統一は本当にCVR改善に寄与しているのかを分析してみました。すると、私たちが立てた仮説とは異なる行動を経てCVするユーザーがとても多かったのです。私たちは、コンテンツページを訪問後ファーストビューのクリエイティブを見てすぐにCVしていただけるような導線を設計していたのですが……。

立石様： 実際は、コンテンツページに訪れたユーザーは、一旦離脱したり、サイト内の他のコンテンツを読みこんだりしたうえでCVしている方がほとんどでした。クリエイティブにより、CVRが向上していたものの、仮説通りではない勝ち方をしていたのだと気づけたのです。

中川様： ABテストを行う際は分析対象となるサンプル数が少ないケースや、パターン間の「改善幅」も数値としては小さいことがしばしばあり、本当に改善されたといえるのかの見極めが難しいことがあります。

ABテストではチャレンジャー側がデフォルト側のクリエイティブよりも勝っているのかを統計的検定で検証することができますが、仮説が正しいことを保証してくれるわけではありません。結局、偶然チャレンジャー側が勝利した可能性を捨てきれないのです。

事実、過去にまったく同じクリエイティブをAとBに分けてテストを行ったところ、AがBに対して統計的に有意な差をつけて勝利してしまったことがありました。当然AとBは同じクリエイティブなので、このCVRの差は偶然生じたものと考えています。通常のABテストにおいても、本来は差がないのにいずれかのクリエイティブが優れているかのような結果が出ることがある、という教訓になりました。

だからこそ、ABテストの結果をうのみにせず、CVユーザーの行動を時系列で観察し、観測された事実に基づいて仮説が正しいかをダブルチェックすることが大事だと考えています。

立石様： 私としてはユーザー個々の行動が見えることに魅力を感じています。特定ページの直帰率が高いことは既存の解析ツールでもわかります。

でも、既存の解析ツールでは「Aページに流入し、一旦Google検索ページに戻って、再度Googleで検索してBページに流入してきた」というようなサイト離脱後も含めた行動の流れまでは追えません。USERGRAMの分析で、意外とそのような行動を取る方が多いと気づきました。

なので、AページにBページへの内部リンクを設置し、離脱することなくスムーズに遷移できるよう導線を設計したところ、直帰率が23％減少しました。ユーザーの手間を簡略化させることに成功したのです。

中川様： やはり、ユーザー一人ひとりの時系列の行動を直感的に追えるのがすばらしいですよね。たとえばサイトに流入し、離脱したけれど、数週間後に再訪したなどという行動が、USERGRAMだと簡単に観察できます。

立石様： 時系列で行動を見ると、ユーザーの「思考」や「感情」が読み取りやすくなります。「あるページに流入したユーザーが、1秒未満で検索エンジンに戻った」という情報を得られたとします。この行動から、ユーザーがページを見た瞬間に「間違えた」と感じたのではないか？　と仮説を立てることができる。そこから、コンテンツ改善につなげられます。

たとえば、あるページから入力フォームへのリンクをクリックした後、一瞬でブラウザバックして戻るユーザーが多いんですが、既存の解析ツールでは、そのページから入力フォームへの遷移率が◯◯%だ、ということしか見られません。その遷移率◯◯%の中には、ページの内容を理解して納得して遷移したユーザーと、間違って遷移してしまったユーザーがごっちゃになっていて、区別できない……。

一方USERGRAMだとユーザーが何秒間フォームを見ていたかがわかるので「この人は1秒でブラウザバックしてしまったということは、クリックして表示されたページを見て『あ、間違った！』と思ってすぐ戻ってしまったのかな」とユーザーの気持ちを想像する手がかりになるんですよ。

このような分析をしている中で、これまではサービスの利用にいたらなかった方の気持ちに、必ずしも全力で寄り添えていなかったのではないかと気づきました。

立石様： ユーザー行動を認識できるようになってからは、業務の優先度にも変化が出てきました。

CVRの数値改善をするときに、直接的にCVに結びついているページの改善が優先されがちで、間接的にCVに寄与しているページにはあまり目を向けられていませんでした。ですが、USERGRAMを通じてそういった後回しにしていたページこそが実は重要なページだったとわかるケースもありました。それまでは表面的に重要そうなページだけ改善し続けていただけで、部分最適に陥っていたのだと思います。

Google Analyticsなどを基準にしたファネル型分析に加えて、USERGRAMで観察したユーザー行動からのアプローチも行うことで、より幅広い提案ができるようになりました。

立石様： 個々のコンテンツページがユーザーにどのように読まれているかが詳細に可視化されたので、コンテンツ制作チームにはすごく喜ばれています。さらに、記事同士の回遊率向上や、フォームに進んだユーザーの行動最適化までSEOチームとして改善に関わろうとする領域の拡大も見られていますね。

そもそも、一般的な計測ツールでは集計された平均値を目にすることが多いので、「内訳」が見えなくなってくるんです。平均として丸められるとユーザーの姿は見えづらくなってしまいます。ユーザー行動がどの程度分散していてどんなふうに分布しているのかという情報が得られなくなってしまいますから……。

中川様： 実際、USERGRAMで見ていると、ユーザー行動は二分化されていることが多いです。たとえば平均滞在時間が1分と計測されたページをUSERGRAMで分析すると、数秒しか見ていない人たちと、数分にわたり熟読している人たちの行動が集計されて平均滞在時間が1分だったということがあります。

中川様： USERGRAMで分析を進めている中で、CVしたユーザーのうち20％が、入力後の最終確認ページまで進んだのに、なぜか入力ページに戻ってしまっているという事象を発見しました。そしてその部分を集中的に調査したところ、ユーザーを不安にさせるような表現が見つかりました。気づいてしまえば当たり前のことでしたが、リリースして数年間、まったく気づけませんでした。

すぐに表示を改善したところ、ページバックするユーザーが20%いたところを1%未満におさえることに成功しました。ユーザビリティを大幅に向上した有益な改善施策だったと捉えています。

立石様： ユーザー行動パターンをもとにセグメントを切り、「根拠あるカスタマージャーニー」を作れたことが大きいですね。これまでもカスタマージャーニーは作成していたのですが、もとになる情報が乏しく、机上の空論なのではないかという懸念が拭いきれませんでした。今は、USERGRAMで取得した情報をもとに、実際のユーザー行動に基づいたカスタマージャーニーを作成できています。

引越しを検討する方の中でも、状況によってニーズはバラバラです。長い期間をかけて引越しを検討する人、単身赴任が決まって短期間で引越しししなければいけない人など様々なタイプのユーザーがいるので、それぞれのモデルのシーケンス分析を通じてカスタマージャーニーを作成しました。

中川様： エイチーム引越し侍は、引越しだけでなく、エアコンの取り付け工事の見積もりをサポートする「エアコンサポートセンター」やネット回線の紹介など、引越しに関連する周辺サービスも提供していますので、USERGRAM導入範囲を広げていきたいです。

立石様： たとえば、お客様が引越しをしてからどのタイミングでエアコンの工事を依頼するのかがわかれば、最適なタイミングでサービスをご案内できますよね。ゆくゆくは、グループ各社のサービスを横断してユーザー行動を観察し、ユーザーの状況を理解して顧客価値を最大化するような取り組みにチャレンジしたいと考えています。

※ この記事は2019年11月に、MarkeZineに掲載された下記の記事を再掲載しています。
　 サービス表記は掲載された当時のものです。
ABテストの勝ちパターンは本当に有効？シーケンス分析で劇的に変化したエイチーム引越し侍の施策設計法（水落 絵理香）