A/B テスト分析で A/B テスト結果を分析する方法

公開: 2022-12-15

誰もが望んでいないのは、テストに関係なく、偽陽性です! コンバージョン率の最適化 (CRO)では、誤検知が行き詰まりにつながる可能性があります。

A/B テストを実施する場合、フォーム、ページ、またはサイトのその他の側面の調整に時間を費やす前に、テストページ (B) が実際にコントロールページ (A) より優れているかどうかを知りたいと思うでしょう。

A/B テストの分析手法は、テストが統計的に有意であったかどうか、および優れたデータセットを手元に持っているかどうかを判断するのに役立ちます。

A/B テストが統計的に有意であったかどうかは、どうすればわかりますか?

統計的有意性とは、テストを繰り返して、一貫して同じ、または類似の結果を得ることができることを意味します。

たとえば、コールトゥアクション(CTA) ボタンの配置を変更したとします。ボタンはランディングページのコンテンツの下に配置されていましたが、ボタンを前面中央に配置すると、より多くのリードを獲得できるという仮説が立てられました。そのため、ページを微調整して、メインの見出しの上にボタンを配置しました。

次に、以前のランディングページ (コントロールページ) を 1000 人の訪問者でテストしました。そこから、微調整したページを別の 1000 人の訪問者でテストしました。 A/B テスト計算機で結果を測定したところ、CTA ボタンをページの上に移動した後、クリック数が 25% 増加したことがわかりました。

テストを 2 回以上繰り返し、クリック数が約 25% 増加し続ける場合、結果が統計的に有意であると合理的に推測できます。また、CTA ボタンの配置の変更が変更の原因であると推測することもできます。

A/B テストをどのように分析しますか?

A/B 計算機は、A/B テスト分析のすべてではありませんが、収集したデータを理解するのに役立ちます。

あなたが中小企業を経営しているとしましょう。サイトの平均訪問者数は、1 週間あたり 100 ～ 500 ユーザーの範囲です。ランディングページの CTA ボタンで同様の A/B テストを実行しましたが、サンプルサイズは 1000 人ではなく 100 人でした。

結果は、100 人中 50 人が元のページの CTA ボタンをクリックしたことを示しています。テストページでは、58 人がボタンをクリックしました。この増加は、サンプルサイズからすればかなり大きいように見えるかもしれませんが、A/B 計算機によると、わずか 16% の変化です。

A/B テストを実行する前に何をすべきですか?

サンプルシナリオを開始する前に、データを収集する前に行うべきことの概要を次に示します。

1. 目的を知る

主要業績評価指標(KPI)は何ですか? 言い換えれば、どの会話があなたのビジネスにとって最も重要な結果をもたらすでしょうか? これらの指標は、販売量から顧客維持まで、あらゆるものである可能性があります。 KPI に合わせた変更に集中することで、最良の結果が得られます。

2. 現在地と行きたい場所を把握する

何を測定したいのかがわかったら、現在の立ち位置を見つけます。広告のクリック数、開封された電子メールの数、または 1 か月あたりのお問い合わせフォームに入力する見込み客の数を測定した場合は、既に一般的なアイデアをお持ちかもしれません。

CRMとGoogle アナリティクスを見て、現状のデータを測定します。現在のデータから、どの改善が必要で現実的かがわかります。

テストが統計的に有意かどうかを知る方法 (A/B 計算機を使用せずに)

ここからは、A/B テストの分析です。上記の手順に従った後、トライアルを実行してデータを収集することに加えて、結果が変更を実施するのに十分重要であるかどうかを判断できます。

良いニュースは、A/B 計算機を出発点として引き続き使用できることです。先ほどお話しした中小企業のウェブサイト訪問者 100 人のうち、クリック数が 16% 増加したのは、CTA ボタンの配置を移動したことによると思われます。では、それが本当かどうかはどうすればわかりますか?

1. テストを再実行する

A/B テストを実行するたびに、変化が有意でない場合は、テストを再実行する必要があります。たとえば、結果の差が 36% 未満の場合です。

一般に、A/B テストを再実行することをお勧めします。これにより、結果が変更の直接の結果であると結論付けるのに十分なデータが得られます。

2.データを再度分析する

この再実行の結果、100 人中 60 人がテストページの CTA ボタンをクリックし、52 人が元のページをクリックしたとします。計算機によると、これは 15.38% の増加です。

3. テストをもう一度実行します (そして結果を分析します)

この結果は、3 回目の 15 ～ 16% の変化に似ています。ただし、変更を実装する前に、もう一度結果をテストしてください。

サンプルサイズが小さい場合、一貫した変化が偶然かどうかを判断するのは困難です。通常、サンプルサイズが大きいほど、統計的検出力が高くなります。

4. 別の A/B テストを実行する — コントロールページをそれ自体に対してテストする

技術的には、このような評価は A/A テストと見なされます。コントロールページを 100 人の訪問者の 1 つのセットでテストし、同じページを別の 100 人の訪問者のセットでテストします。これは、変更をテストする前または後に行うことができます。

変更を加えていない場合の CTA のクリック数の自然な差異は、2% の差を超えてはなりません。この範囲は、ページのクリック数の自然な変動を考慮したものです。この範囲を超える変更は、重要であると合理的に想定できます。

十分なデータが得られたので、3 つのボックスがチェックされているかどうかを確認します。データが次のとおりかどうかを判断します。

十分:はい、テストを 3 回実行しました。
一貫性:はい、同様の結果が 3 回ありました。
差別化:はい、コントロールページをそれ自体に対してテストしたところ、自然な変化が -2 ～ 2% の間であることがわかりました。これは、テストページのクリック数が一貫して 15% 増加したことを意味します。

これらの結果に基づいて、データが統計的に有意であると判断できます。また、CTA ボタンの配置の変更がクリック数の増加の原因であると合理的に推測できます。

WebFX は、企業が信頼するパートナーです。

WebFX サービスでオーガニックセッションが236%増加した HydroWorx の話を聞いてください。

ビデオの証言を見る

A/B テスト分析のための WebFX との提携

ご覧のとおり、A/B テスト分析は、特にどのような変更が最良の結果をもたらすかわからない場合は、困難な作業になる可能性があります。 WebFX の 500 人以上の対象分野の専門家からなるチームは、データ駆動型の SEO 戦略を使用して、A/B テストサービスでインパクトのあるランディングページを作成します。私たちはクライアントに 30 億ドル以上の収益をもたらし、ランディングページを次のレベルに引き上げる準備ができています。

オンラインでお問い合わせいただくか、 888-601-5359までお電話でストラテジストにご相談ください。