fbpx

As Best Creative, Do Everything For a Goal…

Blog 社員ブログ

BLOG

社員ブログ

Web制作マーケティング
ABテストって実は意味ない?やり方、有意差、母数を知ろう!
2020/04/24

abテストについて

ABテストを、Webサイトの収益性アップを目指すマーケティング手法として取り入れる企業は少なくありません。コンバージョン率の最適化を目指してサイトパフォーマンスを調べるひいては高めるために、ABテストは一見、理に適っていて効果的です。しかし、落とし穴があるのも事実。漠然と実施しても正しい検証結果に至らないことがあります。
そういうわけで、ABテストを意味のある施策にするためにはどうすればよいか、本記事で考察、お伝えしていきます。
まずはおさえておきたい基礎知識や方法について見直してみましょう。

目次

ABテストとは?

そもそも、ABテストとは何か。簡単に触れておきましょう。

サイトを構築するにあたって、各要素をどのように設計していくかは、あらゆる選択肢の連続です。多くのパターンが存在する中で導き出した結論は果たして最適解なのか。実際運用していきながら、正解・不正解が分かれば良いですが、大体は結局どちらの判断も下せないケースが多いのではないでしょうか。
そこで頼りにしたいのがデータによる効果検証。行き着く先として、まさに代表例がABテストというわけです。
流用できる勝ちパターンはもちろん、停滞が続くサイトであれば改善点を見つけられる期待が持てます。
加えて、備わっている機能面。ただ単に一つの要素をAとBのパターンで比較するのではなく、複数のポイントでも検証可能なバリエーションを増やした多変量テストや、デザインが大きく変わる場合に有効なリダイレクトテストなど、アプローチできる幅が広いというのもありがたい話といえるでしょう。
が、ちょっと待って!
こう述べてみると確かに使わない手は無さそうですが、そう易々と思い通りにいかないのがサイト運営の難しいところ。夢を見させてくれるABテストとはいえ、実施にあたっては然るべき対処・やり方があるということを前提として心得ておくべきなのです。

ABテストは本当に意味があるのか

さて、本題。
ABテストは、関連ツールの普及に伴って飛躍的に簡単になりました。しかし、「流行だから」「どの企業も使っているから」という理由だけで短絡的に導入してしまうと痛い目をみることになります。実際、そういったWebサイトは多いかもしれません。
そもそもABテストを実施する意味があるのかどうかは、サイト運営者ごとに見極める必要があります。実際、相性というのは大きく、媒体やシチュエーションに応じて他のマーケティング手法が圧倒的にサイトの検証に有効な場合もあります。条件が異なれば、やり方によってはほぼ意味がない結果に堕してしまうことも珍しくありません。言うなればそれがABテストの特徴です。
当たり前ですが、意味のない検証をしても時間を無駄にしてしまうだけで、実りはありません。意味をもたらすABテスト。うーん難しい。

ABテストは現状を推計するテスト

さて、基本に立ち返りましょう。ABテストで得られる結果は、サンプルをもとにした現状での推計です。100%確実な答えではなく、時期を変えて再びテストをしたとき同じ結果になるとも限りません。時とデータの内容は移ろうものです。テスト結果にも影響します。つまり、ABテストの現状の結果は必ずしも将来の予測ではないということです。
そうなると、ありがたい産物であったはずの計測された絶対数字や比較した相対指数は、今後のサイト作りに何も寄与しないもの、最悪ミスリードさせてしまう代物と化す可能性が出てきます。
ユーザー心理における細かい感情の機微は刻々と変化します。それが膨れ上がるとABテストを繰り返すほどに結果にバラつきが生まれるでしょう。そう、精度が低くなるのです。
やはりABテストは意味が無いのかもしれません。ここまでの論調でいくとそう思わざるを得ないわけですが、別に対峙するアングルはあるのでしょうか。

見据える先はCVRアップ

「ABテストの結果を盲信してはいけない」「データは絶対的ではない」「データは普遍的なものではない」
確かに結果をサイトに反映させたからといって、安定してプラスになり続けるとは思いません。ただ、その理由だけでABテストに意味がないと判断するのもまた早計な気もします。例えば、前月や前年との比較であれば、多少なりとも揺るぎない勝ちパターンが見えてくるようにも考えます。継続的にCVRの向上が見られる箇所があれば、そこに対策のヒントが隠れているはずです。解析ツールを複合的に使用し、地道にコンバージョンを追いかけていくのがやはり、成果に直結するポイントなのでしょう。鍵となるCVRとABテストのあいだに考察を挟んで意味を持たせていくというのが、一つの向き合い方として真っ当かもしれません。
もちろん、誤差や有意差を考慮する必要があります。この辺りは、次の章から言及していきます。

ABテストのメリットとデメリット

さて、一般的には利点が多いとされるABテストですが、上述内容でわかる通り、脆い部分もあります。
とにもかくにも整理して見えることがあるはずです。
ABテストの目的を見失わないためにも、メリットとデメリットを今一度おさらいしておきましょう。

【メリット】投資対効果向上への期待

ABテストは、結果によって幅広い要素の改善が可能になります。CVRやCTRをはじめ、ユーザーの滞在時間、ランディングページの直帰率、他のページへの変遷率をアップするために役立つものです。ユーザーが購入した商品のクロスセルにも活用できます。

【メリット】同時並行のテストが可能

「ABテスト後の結果を反映しサイトリニューアルを行ったはずなのに、実行した時には、データが逆になってしまった」
先に挙げた懸念の類でもありますが、最悪の事態を避けるべく大抵のABテストツールにはスプリットランと呼ばれる同時並行の機能が備わっていることを知っておいてください。こまめにABテストの結果を反映させてくれる優れものです。

【メリット】予算と工数の節約

サイトの大掛かりなリニューアルには、予算も工数も大幅に掛かります。他方、ABテストを行えば改善ポイントが明確になるわけですから、予算も工数も節約しやすくなります。当然、ABテストのツール自体も、予算調整での選択が可能です。画像やコピー、ボタンの変更など、部分的な改善は短いターンで手を加えやすく、色々と無駄を省略できます。

【デメリット】改善ポイントの絞り込みが必要

続いてデメリット。
サイト内で改善したい部分が多いと、まとめて一気にABテストを実行したくなるものです。しかし、多数の要素を同時にテストすると、改善すべき要素の判断がつきにくくなります。誤った判断をしてしまえば、せっかくのABテストも意味がありません。あらかじめ仮説を立て、一つの要素に絞り、順を追ってテストをしていくのがセオリーであり効果的です。また、用心したいことして、前提条件には仮説を立てる力が求められます。

【デメリット】アクセス数を集めることが前提

ABテストでは、ユーザーのアクセス数が一定水準以上必要です。少なすぎては、CVRに大きな変動を起こしてしまう可能性があるためです。標本誤差の優位水準は5%以下、母数単位では400以上が理想となります。
スムーズに進行するためにもテストを実施するページのアクセス数はあらかじめ把握しておきましょう。

【デメリット】継続的な検証には手間が掛かる

ユーザーの動向をタイムリーに捕らえ、安定した成果を得るためにはABテストも継続的に行っていく必要があります。ただし、どうしても手間が掛かってしまうのも事実です。1~2回テストするだけでもそれなりに費用、時間は嵩みます。

ABテストの期間(回数)と有意差

ともすれば、この要素もまた立ちはだかる壁としてデメリットに捉えかねない注意事項です。
引き続き、気に留めておけるよう、ご参照ください。

ABテストに必要な期間

テストをするにあたって、あらかじめタイミングや期間を決めるわけですが、ABテストはその設定が重要になってきます。始める時期は比較的決めやすいでしょう。しかし、テストをいつ終えるのかは簡単には判断できません。できる限り短期間でテストを終えてサイトの改善に取り掛かっていきたいと思われるかもしれませんが、ここは慎重になることが大切です。短期間のテストで誤った判断を下した場合、スケジュールを組み直すのは大変でしょう。おすすめは何段階かに分けてスケジュールを検討することです。その積み重ねが一つ基準を作り、結果への理解度を高めてくれると考えます。

個人に依存した誤差

なるべく短期間で正しい結果を得る必要がある場合に顕著なのが、焦ってテスト結果を読み間違えてしまうことです。その原因の一つとして挙げられるのが、個人に依存した誤差。短期間でのABテストでサンプル数が少ないと、特にその誤差が出やすくなります。特定のユーザーのCVが大きく全体に影響するからです。誤差を理解し、数字とは向き合うようにしてください。

有意差が知らせる終わりの合図

誤差の影響が大きい場合、信頼できるテスト結果とはいえません。一方、誤差の影響が少なく必然的な確率とみなされるものは、テスト結果として信ぴょう性は高いです。偶然とは言い難い結果を有意である(つまり意味がある)と統計学では定義するのですが、ポイントはその有意差の有無です。偶然か否かを判断してくれる頼もしいシグナルとして作用します。
有意差は設定した有意水準をP値が下回ったときに「あり」と出ます。P値とは通常では考えられないまさに偶然に起こる確率のことです。多くの場合、P値が5%以下であれば有意差があると判断されています。あらかじめ有意水準を決めておく必要はありますが、有意差ありとなったときがABテストを終える目安になります。

意味のあるABテストにするための手順

目的から始まり、仮説を立て、調査を行い実施する。その後の検証も大事。もちろん反映はお忘れなく。
この一連の流れをしっかり意識しましょう。
Webサイト改善に向けてのプロセスを怠ると、ABテストは途端に意味を失います。

テストの目的を明確にしておく

目的がはっきりしていれば、意味のないABテストになる心配は軽減します。ABテストのメリット・デメリットを踏まえて、実行する目的を決めておくのが鉄則です。テストをする理由や獲得したい結果、それらをどのように活用するのかまで、しっかり見据えて実施しましょう。

仮説を立てる

目的が明確になったら、仮説を立てましょう。具体的には、サイトの現状を認識してどのような対策をすると改善につながりそうかを考えてください。
例えば、「現状のサイトは文字だらけで画像が少なくユーザーが離脱しやすくなっているが、文章を簡潔にして画像を増やせばユーザーの滞在時間が伸びるのではないか」と仮説を立てるとします。その流れで文章と画像のバランスを変えたコンテンツのバリエーションを作れば、ABテストが可能です。結果を比較するのに分かりやすい指標は、数字で計れるものといった具体的な根拠が好ましく思います。円滑に進めるべく事前に自社サイトへアクセスするユーザーの行動データを集めておくことも大事です。

サンプルサイズを決める

サンプルサイズとは、ABテストに必要な調査数のことです。サンプルサイズが少なければ、信頼できるテスト結果を得るのは困難になります。しかし、多くのサンプルを集めることが大変であるのも事実です。そうした背景から統計学では、標本調査と呼ばれる手法を用いることがあります。標本調査では、母集団からランダムに一定数のサンプルを抜き出します。母集団とは、統計対象となる全てです。母集団の平均・分散・標準偏差は母平均・母分散・母標準偏差などといわれます。ちなみに、よく誤用されやすい「母数」という言葉は、これらの真の値を意味し、母集団の特性を示す定数を指すものです。
なお、サンプルサイズは、ツールを使って算出することもできます。

テストを実施する

さて、準備が整えばいよいよABテストを実行します。サンプルサイズが満たされ、仮説の検証が済むまで続けてください。

結果をサイトの改善に反映させる

有意差が生まれ、結果として一つの見解が浮上すれば、その内容をサイトに反映し、改善を図っていきます。このとき、テスト結果をきちんと振り返ることが重要です。「AとBどちらがどのような理由で勝敗を分けたのか」「仮説通りだったのか」「新たな仮説は生まれたか」……等々。
分析・考察の精度を高めていくことが、今後のテストにも生きてくるようになります。

意味のあるABテストでサイトを効果的に改善しよう

ABテストは、手順を踏まえ正しく実施すれば、決して意味のないものには成り下がりません。世の中にあふれる意味のないABテストは、何かしら誤ったやり方を無意識に踏襲しています。「AとBを分けるポイントが複数ありませんか?」「AとBを分けるポイントははっきりしたものですか?」「有意差を意識していますか?」
これらの基本さえもおさえられていない事例をみるにつけ、とても残念な気持ちになります。だからこそ、これからABテスト実施を検討している方には、くれぐれも丁寧に進めてほしいと思っています。
おこがましくも、拙稿を参考にしていただきたいです。

まずは、なぜABテストをする必要があるのか、目的を決めましょう。そのうえで十分な準備をし、正しい方法で実施しましょう。
うまくハマれば自社サイトの向上につなげることができます。
意味のあるABテストにするもしないも、やり方次第です。

SHARE

PLEASE CONTACT US

サングローブのサービスにご関心のある方は、
いつでも下記のボタンからお問い合わせください。

Go to TOP
Go to TOP