最先端のWebマーケティングを発信するメディア

最先端のWebマーケティングを発信するメディア
ABテストとは?やり方、有意差、母数などWebサイト運用に役立つ知識

ABテストとは?やり方、有意差、母数などWebサイト運用に役立つ知識

最終更新日:
SHARE
FacebookTwitterLineHatenaShare

ABテストを、Webサイトの収益性アップを目指すマーケティング手法として取り入れる企業は少なくありません。コンバージョン率の最適化を目指してサイトパフォーマンスを調べるひいては高めるために、ABテストは一見、理に適っていて効果的です。しかし、落とし穴があるのも事実。漠然と実施しても正しい検証結果に至らないことがあります。

そういうわけで、ABテストを意味のある施策にするためにはどうすればよいか、本記事にて基本概要を踏まえたうえで考察します。

やり方だけでなく有意差や母数といった細かい基礎用語の理解も大切です。

また、ツールの存在も知るに越したことはありません。

これらに言及しながら、ABテストの全体像を浮き彫りにすべく徹底的に解説します。

Webサイト運用で重宝されるABテスト

Webサイト運用で重宝されるABテスト

ABテストとは、いうなれば、購入やお問い合わせにつながるWebサイトへと成長させるための施策です。レイアウトやキャッチコピーに対していくつかのパターンを用意し、より適切な答えへと導いていくのに効果的な手段とされています。

以下あらためて、なぜABテストを行うのか、その理由とコストパフォーマンスに対する期待、理想の成長について簡単に紹介します。

ABテストを行う理由

たとえば「CTAの位置やテキストは適切か」「色や大きさを変えたら反応は変わるだろうか」など、ボタン1つでも多くの選択肢を有するのがWebの世界です。

Webマーケターやデザイナー、ディレクターの方々は、より売れるサイトにすべく日々さまざまな施策を企て、試行錯誤していることでしょう。そのなかで何かしら改善への糸口につながるものが浮かび上がることを期待しているはずです。

が、現実は仮説を立てるだけならまだしも、実際の効果を判断するのは難しいと思われます。

たとえ数値に変化がみえても、時期や条件が大きく影響している可能性は否めません。

なるべく公正に、改善要因を突き詰めるにはどうすればいいか。

ここでABテストの登場です。

一部のクリエイティブを変えたAパターンとBパターンの2つのページを用意して反応の違いをチェックすることで、うまくいけば必勝法までみつかる期待が持てます。

同条件のもと、ページの離脱率や、注文、お問い合わせ、資料請求といったコンバージョン数が如実に変われば、それは儲けもの。

他のサイトに流用しても同様に、結果につながるならそれはもう勝利の方程式といってもいいかもしれません。

ABテストのコストパフォーマンス

ABテストに対して、いざはじめるには心理的ハードルが高いと嘆く方が時々みられます。

しかし、実際はあまりコストをかけなくてもできるものです。

たとえば、サイトを大幅にリニューアルするとなると、手間や費用がすこぶる掛かります。確かに、成果につながればいいのですが、場当たり的なものではなかなか難しいのが現実です。加えて、逆効果になることも少なくありません。

他方、もしも事前にABテストを行っていたとしたらどうでしょう。

まず、作業は一部のクリエイティブだけの変更になるため(むしろ、あれもこれもと手を加えてはいけません)、コストはほとんどかかりません。売り上げが大きく下がるようなリスクもありません。

もちろん、最適解をみつけるのはそう容易くないとはいえ、ABテストによって蓄積されるノウハウはいわば資産という考え方もできます。

収益アップにもつながれば願ったり叶ったりでしょう。

ABテストでの希望的観測

ABテストは細かな作業、仮説検証の積み重ねといえます。施策の一つひとつは小さなものですが、気付けば大きな効果を発揮していることもあるでしょう。

たとえば、キャッチコピーで5%、イメージ画像で5%、さらにCTAボタンで5%コンバージョン率を上げることができれば、単純計算ですが15%もアップすることになります。

ただ漠然とWebサイトを修正するのとは違い、ABテストによるデータが明確な裏付けになるため、施策を打つにあたっては、ある程度安心できるかもしれません。

が、それはあくまで希望的観測です。

表面的な解釈でデータを鵜呑みにしてしまい、成果につながらないケースは意外と多く存在します。

本当は難しいABテストの世界

本当は難しいABテストの世界

ABテストは、関連ツールの普及に伴って飛躍的に簡単になりました。しかし、「流行だから」「どの企業も使っているから」という理由だけで短絡的に導入してしまうと痛い目をみることになります。実際、そういったWebサイトは多いかもしれません。

そもそもABテストを実施する意味があるのかどうかは、サイト運営者ごとに見極める必要があります。実際、相性というのは大きく、媒体やシチュエーションに応じて他のマーケティング手法が圧倒的にサイトの検証に有効な場合もあります。条件が異なれば、やり方によってはほぼ意味がない結果に堕してしまうことも珍しくありません。むしろABテストを巡っては、そのケースの方が多い印象です。

当たり前ですが、意味のない検証を行っても時間を無駄にしてしまうだけで、実りはありません。ABテストで導き出した結果は、実はそう単純なものでもないのです。

ABテストとは現状を推計するテスト

さて、基本に立ち返りましょう。ABテストで得られる結果は、サンプルをもとにした現状での推計です。100%確実な答えではなく、時期を変えて再びテストをしたとき同じ結果になるとも限りません。時とデータの内容は移ろうものです。テスト結果にも影響します。つまり、ABテストの現状の結果は必ずしも将来の予測ではないということです。

そうなると、ありがたい産物であったはずの計測された絶対数字や比較した相対指数は、今後のサイト作りに何も寄与しないもの、最悪ミスリードさせてしまう代物と化す可能性が出てきます。

ユーザー心理における細かい感情の機微は刻々と変化します。それが膨れ上がるとABテストを繰り返すほどに結果にバラつきが生まれるでしょう。そう、精度が低くなるのです。

やはりABテストは意味が無いのかもしれません。ここまでの論調でいくとそう思わざるを得ないわけですが、別に対峙するアングルはあるのでしょうか。

見据える先はCVRアップ

「ABテストの結果を盲信してはいけない」「データは絶対的ではない」「データは普遍的なものではない」

確かに結果をサイトに反映させれば、安定してプラスになり続けるとは思いません。ただ、その理由だけでABテストに意味がないと判断するのもまた早計な気もします。例えば、前月や前年との比較であれば、多少なりとも揺るぎない勝ちパターンが見えてくるようにも考えます。継続的にCVRの向上が見られる箇所があれば、そこに対策のヒントが隠れているはずです。解析ツールを複合的に使用し、地道にコンバージョンを追いかけていくのがやはり、成果に直結するポイントなのでしょう。鍵となるCVRとABテストのあいだに考察を挟んで意味を持たせていくというのが、一つの向き合い方として真っ当かもしれません。

もちろん、誤差や有意差を考慮する必要があります。この辺りは、次の章から言及していきます。

ABテストのメリットとデメリット

ABテストのメリットとデメリット

さて、一般的には利点が多いとされるABテストですが、上述内容でわかる通り、脆い部分もあります。

とにもかくにも整理して見えることがあるはずです。

ABテストの目的を見失わないためにも、メリットとデメリットを今一度おさらいしておきましょう。

投資対効果向上への期待

ABテストは、結果によって幅広い要素の改善が可能になります。CVRやCTRをはじめ、ユーザーの滞在時間、ランディングページの直帰率、他のページへの変遷率をアップするために役立つものです。ユーザーが購入した商品のクロスセルにも活用できます。

同時並行のテストが可能

「ABテスト後の結果を反映しサイトリニューアルを行ったはずなのに、実行した時には、データが逆になってしまった」

先に挙げた懸念の類でもありますが、最悪の事態を避けるべく大抵のABテストツールにはスプリットランと呼ばれる同時並行の機能が備わっていることを知っておいてください。こまめにABテストの結果を反映させてくれる優れものです。

予算と工数の節約

サイトの大掛かりなリニューアルには、予算も工数も大幅に掛かります。他方、ABテストを行えば改善ポイントが明確になるわけですから、予算も工数も節約しやすくなります。当然、ABテストのツール自体も、予算調整での選択が可能です。画像やコピー、ボタンの変更など、部分的な改善は短いターンで手を加えやすく、色々と無駄を省略できます。

改善ポイントの判断が困難

続いてデメリット。

サイト内で改善したい部分が多いと、まとめて一気にABテストを実行したくなるものです。しかし、多数の要素を同時にテストすると、改善すべき要素の判断がつきにくくなります。誤った判断をしてしまえば、せっかくのABテストも意味がありません。あらかじめ仮説を立て、一つの要素に絞り、順を追ってテストをしていくのがセオリーであり効果的です。用心したいことして、前提条件には仮説を立てる力が求められます。

アクセス数が一定水準以上必要

ABテストでは、ユーザーのアクセス数である母数が一定以上必要です。少なすぎる母数では、CVRに大きな変動を起こしてしまう可能性があるためです。標本誤差の優位水準は5%以下、母数は400以上が理想となります。

スムーズに進行するためにもテストを実施するページのアクセス数はあらかじめ把握しておきましょう。

継続的な検証には手間が掛かる

ユーザーの動向をタイムリーに捕らえ、安定した成果を得るためにはABテストも継続的に行っていく必要があります。ただし、どうしても手間が掛かってしまいます。1~2回テストするだけでもそれなりに費用、時間は必要です。

ABテストの期間(回数)と有意差

ABテストの期間(回数)と有意差

ともすれば、この要素もまたデメリットと捉えかねない注意事項です。

引き続き、気に留めておけるよう、ご参照ください。

ABテストに必要な期間

テストをするにあたって、あらかじめタイミングや期間を決めるわけですが、ABテストはその設定が重要になってきます。始める時期は比較的決めやすいでしょう。しかし、テストをいつ終えるのかは簡単には判断できません。できる限り短期間でテストを終えてサイトの改善に取り掛かっていきたいと思われるかもしれませんが、ここは慎重になることが大切です。短期間のテストで誤った判断を下した場合、スケジュールを組み直すのは大変でしょう。おすすめは何段階かに分けてスケジュールを検討することです。その積み重ねが一つ基準を作り、結果への理解度を高めてくれると考えます。

個人に依存した誤差

なるべく短期間で正しい結果を得る必要がある場合に顕著なのが、焦ってテスト結果を読み間違えてしまうことです。その原因の一つとして挙げられるのが、個人に依存した誤差。短期間でのABテストでサンプル数が少ないと、特にその誤差が出やすくなります。特定のユーザーのCVが大きく全体に影響するからです。誤差を理解し、数字とは向き合うようにしてください。

有意差による判断

誤差の影響が大きい場合、信頼できるテスト結果とはいえません。一方、誤差の影響が少なく必然的な確率とみなされるとテスト結果として信頼度が増します。偶然とは言い難い結果を有意、つまり意味があると統計学では定義するのですが、ポイントは有意差です。偶然か否かを判断してくれる頼もしいシグナルとして作用します。

有意差は設定した有意水準をP値が下回ったときに「あり」と出ます。P値とは通常では考えられないまさに偶然に起こる確率のことです。多くの場合、P値が5%以下であれば有意差があると判断されています。あらかじめ有意水準を決めておく必要はありますが、有意差ありとなったときがABテストを終える目安になります。

意味のあるABテストにするためのやり方、手順

目的から始まり、仮説を立て、調査を行い実施する。その後の検証も大事。もちろん反映はお忘れなく。

この一連の流れをしっかり意識しましょう。

Webサイト改善に向けてのプロセスを怠ると、ABテストは途端に意味を失います。

テストの目的を明確にしておく

目的がはっきりしていれば、意味のないABテストになる心配は軽減します。ABテストのメリットを踏まえて、実行する目的を決めておくのが鉄則です。テストをする理由や獲得したい結果、それらをどのように活用するのかまで、しっかり見据えて実施しましょう。

仮説を立てる

目的が明確になったら、仮説を立てましょう。具体的には、サイトの現状を認識してどのような対策をすると改善につながりそうかを考えてください。

例えば、「現状のサイトは文字だらけで画像が少なくユーザーが離脱しやすくなっているが、文章を簡潔にして画像を増やせばユーザーの滞在時間が伸びるのではないか」と仮説を立てるとします。その流れで文章と画像のバランスを変えたコンテンツのバリエーションを作れば、ABテストが可能です。結果を比較するのに分かりやすい指標は数字で計れるものといった具体的な根拠が好ましく思います。円滑に進めるべく事前に自社サイトへアクセスするユーザーの行動データを集めておくことも大事です。

母数を理解し、サンプルサイズを決める

サンプルサイズとは、ABテストに必要な調査数のことです。サンプルサイズが少なければ、信頼できるテスト結果を得るのは困難になります。しかし、多くのサンプルを集めることが大変であるのも事実です。そうした背景から統計学では、標本調査と呼ばれる手法を用いることがあります。標本調査では、母集団からランダムに一定数のサンプルを抜き出します。母集団とは、統計対象となる全てです。母集団の平均・分散・標準偏差は母平均・母分散・母標準偏差などといわれます。ちなみに、よく誤用されやすい「母数」という言葉は、これらの真の値を意味し、母集団の特性を示す定数を指すものです。

なお、サンプルサイズは、ツールを使って算出することもできます。

テストの実施

さて、準備が整えばいよいよABテストを実行します。サンプルサイズが満たされ、仮説の検証が済むまで続けてください。

結果をサイトの改善に反映させる

有意差が生まれ、結果として一つの見解が浮上すれば、その内容をサイトに反映し、改善を図っていきます。このとき、テスト結果をきちんと振り返ることが重要です。「AとBどちらがどのような理由で勝敗を分けたのか」「仮説通りだったのか」「新たな仮説は生まれたか」……等々。

分析・考察の精度を高めていくことが、今後のテストにも生きてくるようになります。

ABテストを行える代表的なツール

ABテストを行える代表的なツール

ABテスト向けのツールはいくつか存在します。それぞれの機能について知ることで、目的に見合った選択ができるでしょう。

以下、代表的なものを紹介します。実施に前向きな方は、料金体系も踏まえて、検討してみてください。

無料で簡単!Google Optimize(グーグルオプティマイズ)

Google Optimize(グーグルオプティマイズ)は、Googleが提供する無料のABテストツールです。人気筆頭格といっても過言ではありません。Googleアカウントを作成してテストケースを作り実行するだけでOKです。

Google Analytics(グーグルアナリティクス)と紐づければ、テスト結果を確認できます。

ABテスト初心者におすすめしたい、入門書的ツールだといえるでしょう。

有料とはいえ有能!Optimizely(オプティマイズリー)

有料とはいえ、その機能に定評があるOptimizely(オプティマイズリー)。世界中で愛用されているツールとしても有名です。

ABテストのみならず、多変量テストや複数ページテストなど幅広く行えます。

ターゲットの絞り込みも細かくでき、なおかつ操作性も高い万能なABテストツールです。

一応、無料トライアル期間も有り。契約は代理店を経由することで可能になります。

意味のあるABテストでサイトを効果的に改善しよう!

意味のあるABテストでサイトを効果的に改善しよう!

Webサイトを構築するにあたって、各要素をどのように設計していくかは、あらゆる選択肢の連続です。多くのパターンが存在するなかで導き出した結論は果たして最適解なのか。実際運用していきながら、正解・不正解が分かれば良いですが、大体は結局どちらの判断も下せないケースが多いのではないでしょうか。

そこで頼りにしたいのがデータによる効果検証。行き着く先として、まさに代表例がABテストというわけです。

流用できる勝ちパターンはもちろん、停滞が続くサイトであれば改善点を見つけられる期待が持てます。

加えて、ただ単に一つの要素をAとBのパターンで比較するのではなく、複数のポイントでも検証可能なバリエーションを増やした多変量テストや、デザインが大きく変わる場合に有効なリダイレクトテストなど、アプローチできる幅が広いのもありがたい機能といえるでしょう。

が、短絡的に依存するのも実は危険です。

上述した内容だと確かに使わない手は無さそうですが、そう易々と思い通りにいくわけではありません。まさに、それがWebサイト運営の難しいところだといえます。夢を見させてくれるABテストですが、実施にあたっては然るべき対処・やり方があるということを前提として心得ておくべきなのです。

そうはいってもやはり、ABテストは、手順を踏まえ正しく実施すれば、決して意味のないものには成り下がりません。世の中にあふれる意味のないABテストは、何かしら誤ったやり方を無意識に踏襲しています。

「AとBを分けるポイントが複数ありませんか?」「AとBを分けるポイントははっきりしたものですか?」「有意差を意識していますか?」

これらの基本さえもおさえられていない事例をみるにつけ、とても残念な気持ちになります。だからこそ、これからABテスト実施を検討している方には、くれぐれも丁寧に進めてほしいと思っています。

おこがましくも、拙稿を参考にしていただきたいです。

まずは、なぜABテストをする必要があるのか、目的を決めましょう。そのうえで十分な準備をし、正しい方法で実施しましょう。

うまくハマればもちろん、自社サイトの向上につなげることができます。

意味のあるABテストにするもしないも、結局はやり方次第です。

SHARE
FacebookTwitterLineHatenaShare

この記事を書いた人

ヒゴ
無知、無能、無粋、無才、無点法……。SEOやアクセス解析に腐心しつつも、それらはまるで逃げ水のように追いかけては遠く離れ、ようやく掴んだと思った矢先にはシビアな現実を突きつけられる有様です。あるいはライターとして名を連ねることに気後れしながら、日曜大工のスタンスで恣意的かつ箸にも棒にもかからない駄文をまき散らしています。隠し切れない底意地の悪さ。鼻持ちならない言い回し多数。どうかご容赦ください。

UPDATE 更新情報

  • ALL
  • ARTICLE
  • MOVIE
  • FEATURE
  • DOCUMENT