A / Aテストとは何ですか？マーケターはなぜ気にする必要がありますか？

公開: 2017-05-18

このシナリオを経験しましたか？ A / Bテストを設定して、新しいボタンと見出しの組み合わせがより多くのコンバージョンを生成するかどうかを確認します…

クリック後のランディングページ（コントロールとバリエーション）の両方に均等なトラフィックを誘導し、ソフトウェアが99％の信頼度でバリエーションを勝者と宣言した1か月後に停止します…

新しい「勝利」のデザインを展開しますが、数ビジネスサイクル後、コンバージョン率が50％向上しても、収益に影響はありません。あなたは混乱しています。あなたはイライラしています…

そして、あなたはおそらく偽陽性のテスト結果の犠牲者です。

偽陽性のテスト結果とは何ですか？

コンバージョン率が50％向上しても、売り上げが増えるのではないのはなぜですか。その理由は、CopyhackersのLance Jonesは、おそらく存在しなかったからだと言います。

そもそもテストがなかったために、テストからの売上や収益の増加が見られない可能性は十分にあります。 テストで無意識のうちに「誤検知」を受け取った可能性があります。これは、タイプIの統計エラー、または真の帰無仮説の誤った棄却として知られています。 それは一口なので、私は単にそれを誤検知として覚えています。

一口であろうとなかろうと、これらのタイプ1の統計エラーはあなたが思っているよりも一般的です。 ABテスト結果の約80％は架空のものであると推定されています。

ABテスト結果の約80％は架空のものであると推定されています。

クリックしてツイート

誤検知に基づいて重要な決定を下している場合、せいぜい、最適化は偶然に任せています。最悪の場合、クリック後のランディングページのコンバージョン率が実際に悪化しています。

幸いなことに、有毒なデータと戦う方法はいくつかあります。それらの1つは、おそらくすでにおなじみのテスト方法に似ています…

A / Aテストとは何ですか？

A / Bテストでは、トラフィックを2つの異なるページ（元のページ（コントロール）と別のバージョン（バリエーション））に誘導して、どちらがパフォーマンスが優れているかを確認します。

同様に、A / Aテストでは、トラフィックを2ページに誘導して、どちらがパフォーマンスが優れているかを確認します。ただし、A / Bテストとは異なり、A / Aテストでは、2つの同じページを互いに比較します。リフトを検出する代わりに、コントロールとバリエーションの間に違いがないことを目標とします。

なぜA / Aテストをするのですか？

「2つの同じページを互いにテストすると、いったい何が達成されるのだろうか」と頭を悩ませたことであなたを責めることはありません。

ばかげているように聞こえるかもしれませんが、一部のプロのテスターがテストする前にA / Bテストをテストするために使用する手法です。（は？）

正確なテスト結果には、統計的有意性以上のものが必要です

誰でもA / Bテストを実行できますが、有効なA / Bテストを実行できる人はほとんどいません（覚えておいてください：テスト結果の約20％だけが実際に正当です）。

正確なテストデータを生成するには、大きくて代表的なサンプルサイズで統計的有意性に到達するだけでは不十分です。結果に自信を持ってもらうには、サンプルが多数の有効性の脅威に汚染されていないことを確認する必要があります。

それらの脅威の1つである機器の影響は、A / Aテストが戦闘に最も役立つものです。

楽器の効果とは何ですか？

妥当性の脅威からの保護は、A / Bテストを開始する前から始まります。 CXLのPeepLajaによると、機器の効果は、ほとんどのテスト結果を害するものです。

これは最も一般的な問題です。 テストで欠陥のあるデータを引き起こすのは、テストツール（または機器）で何かが起こったときです。 多くの場合、Webサイトでのコードの実装が間違っていることが原因であり、すべての結果が歪められます。

そのため、テストを設定するときは、ツールが正しく構成され、正常に機能していることを確認することが重要です。そうでない場合、次の一般的な問題が発生する可能性があります。

主要業績評価指標の誤報。 1つのツールで1つのエラーが発生すると、データが混乱する可能性があります。そのため、すべてのテスト情報を追跡するために単一のプラットフォームに依存することは絶対に避けてください。少なくとも、Google Analyticsと統合して、テストソフトウェアとウェブサイトの追跡に表示される指標が正確であることを再確認してください。さらに良い結果を得るには、別のツールでトリプルチェックしてください。比較的密接に一致しないレポートには疑いを持ってください。
クリック後のランディングページの表示の問題。 小さなコーディングミスは、A / Bテスト中に表示の問題などの大きな妥当性の脅威を引き起こす可能性があります。そのため、クリック後のランディングページがすべてのデバイスとブラウザで想定どおりに表示され、訪問者が「フリッカー効果」と呼ばれる影響を受けないようにすることが重要です。とりわけ、遅いWebサイトはこの問題を引き起こす可能性があります。これは、バリエーションの直前にコントロールが訪問者に一時的に表示されるときに発生します。
テストの停止が早すぎます。 一部のテストソフトウェアは、サンプルサイズが十分に大きくない場合、またはターゲット顧客を代表する場合に、勝ちページを時期尚早に宣言します。注意：統計的有意性に達しても、テストを停止する時期ではありません。 実行時間が長くなるほど、結果はより正確になります。

これらの問題のいずれか（およびそれ以上）は、テストの終了時に誤検知につながる可能性があります。そのため、Peepはテスターに警戒するよう警告しています。

テストを設定するときは、鷹のように見てください。追跡するすべての目標と指標が記録されていることを確認してください。 一部の指標がデータを送信していない場合（カートのクリックデータに追加するなど）、テストを停止し、問題を見つけて修正し、データをリセットして最初からやり直します。

しかし、特に新しいソフトウェアを使用している場合は、誰もがすぐに両足でA / Bテストに飛び込むことに抵抗がないわけではありません。したがって、追加の予防策として、一部の開業医は、A / Bテストを開始する前にツールを評価するためにA / Aテストを行います。

実験が正しく設定されている場合、A / Aテストの最後に、両方のページが同じようなコンバージョン率で表示されます。ただし、次のテスターが示すように、それが常に発生するとは限りません。

A / Aテスト例

誤検知は本当に一般的ですか？ 1つのページがそのクローンを本当に上回ることができますか？これらの人々は、A / Aテストを使用して、次のブログ投稿で彼らの発見を見つけて明らかにしました…

1.ホームページ分割テストは人気のあるテストツールの主な欠点を明らかにします

2012年11月11日、Copyhackersチームは、以下に示すように、ホームページでA / A分割テストを開始しました。

18日（6日後）に、彼らのテストツールは95％の信頼度で勝者を宣言しました。ただし、正確さを期すために、チームはテストをもう1日実行することにしました。その時点で、ソフトウェアは99.6％の信頼水準で勝者を宣言しました。

ソフトウェアによると、彼らのホームページのパフォーマンスはまったく同じページよりもほぼ24％向上しており、結果が誤検知になる可能性はわずか.4％でした。それでも、チームはさらに約3日間テストを実行し、最終的には違いが均等になりました。

しかし、それは重要ではありません。重要なのは、テストツールが勝者を宣言するのが早すぎたということです。 Copyhackersチームがそれを実行し続けていなかったとしたら、彼らは実験に問題があると誤って想定していたでしょう。テストの詳細については、こちらをご覧ください。

2. A / Aテスト：まったく何もしないことでコンバージョンを300％増加させた方法

この皮肉なタイトルは、75万人の電子メールサブスクライバーに対して8か月にわたって多数のA / Aテストを実行した、著者であり自称「回復したいレプレナー」であるDavidKadavyに由来します。その間、彼は次のような統計的に有意な結果を生成しました。

それらの結果の中には：

メールの開封が9％増加
クリック数が300％増加
退会率が51％低く

彼は言う：

多くの欲求不満の人（私の以前の自己を含む）にとって、これは「うわー、あなたはオープンを10％増やしました！」のように見えます。 彼らはそれをビジュアルウェブサイトオプティマイザーの有意性計算機に打ち込み、p = .048であることを確認することさえできます。 「それは統計的に有意です！」 彼ら（または私）は叫ぶかもしれません。

真実は、しかし、これらはすべてA / Aテストでした。互いにテストされた内容は同一でした。彼の結果の詳細については、こちらをご覧ください。

A / Aテストを実行する必要がありますか？

この質問への答えは、あなたが誰に尋ねるかによって異なります。

収益の増加とは言えない大きなコンバージョンの伸びを見続けたNeilPatel氏は、「最初にA / Aテストを実行することが非常に重要です。これにより、不正確なソフトウェアで時間を無駄にしないようにすることができます」と述べています。

一方、CXLのPeep Lajaは、A / Aテスト自体は時間の無駄だと言います。それで、誰が正しいのですか？

A / Aテストに関する2つの大きな問題

理論的な観点から、A / Aテストは非常に理にかなっています。何よりも、A / Bテストを実行する場合は精度が最も重要であり、テストをテストすることは、それを確認するための多くの方法の1つにすぎません。

ただし、実際のテスト環境では、A / Aテストは良いことよりも害を及ぼす可能性があります。クレイグサリバンは説明します：

私にとって、問題は常に実際のトラフィックとテスト時間を消費することです。これは、A / Aテストの期間でテスト実行時間をプリロードする必要があるためです。 私が月に40のテストを実行しようとすると、これはものをライブにする私の能力を損ないます。 2〜4週間のA / Aテストを実行して整列を確認するよりも、実験で半日のQAテストを行いたいと思います。

それが問題の1つです。 A / Aテストは、A / BテストでWebサイトの訪問者について詳しく知るために使用できるリアルタイムとトラフィックのコストがかかります。

問題2は、Copyhackersのケーススタディで例示されています。 A / Bテストと同様に、A / Aテストも誤検知の影響を受けやすいため、慎重に設計および監視する必要があります。

言い換えると、A / Aテストでは、そうでない場合でも、あるページのパフォーマンスが他のページよりも優れていることがわかる場合があります（その可能性は、思ったよりもはるかに高く、約50％です）。

Copyhackersのチームがテストツールを聞いて、わずか6日で勝者を宣言した場合、ホームページのパフォーマンスが同じツインよりも優れている理由を理解するためにさらに多くの時間を費やしていたでしょう（実際にはそうではなかった場合）。。

A / Aテストの主な利点

これらの問題にもかかわらず、A / Aテストは、実際のテスト中にさらに大きな問題を見つけるのに役立つ可能性があります。これらのテストの結果が重要なビジネス上の決定の基礎となるものである場合、それは考慮すべき強力な利点です。

A / Aテストを行うことにした場合、A / A / Bテストと呼ばれる、無駄の少ない方法があります。

A / A / BテストとA / Aテスト

A / Aテストの従来の方法は、結論として訪問者について何も教えてくれないため、トラフィックを浪費します。ただし、そのテストに「B」バリエーションを追加すると、可能になります。 2つの違いは次のとおりです。

A / Aテスト=互いにテストされた2つの同一ページ
A / A / Bテスト= 2つの同一のページと1つのバリエーションを相互にテスト

A / A / Bテストは、トラフィックを3つのセグメントに分割します。これは、統計的有意性に到達するまでに時間がかかることを意味します。ただし、利点は、一度実行すると、テストツールと訪問者の両方に関するデータが得られることです。

AとAの結果を比較して、テストを信頼できるかどうかを判断します。統計的に類似している場合は、AとBの結果を比較します。ただし、そうでない場合は、テスト全体の結果を破棄する必要があります（従来のA / Aテストよりも実行に時間がかかりました）。トラフィックは3つの方法でセグメント化されているため）。

A / Aテストのメリットはデメリットを上回りますか？

「はい」と言う専門家もいれば、「いいえ」と言う専門家もいます。 LeadplumのAndrewFirstは、答えは次の中間にあると考えているようです。

A / Aテストはおそらく毎月の問題ではないはずですが、新しいツールをセットアップするときは、時間をかけてデータをテストする価値があります。 今すぐ不良データを傍受すると、数か月後のテスト結果に自信が持てるようになります。

最終的に、それはあなた次第です。新しいツールを使用している場合は、Andrewのアドバイスを受けるのが賢明かもしれません。ただし、そうでない場合は、Craig Sullivanの指導に従い、代わりに厳密な事前テストQAプロセスを設定することをお勧めします。 A / Bテストのために、時間、リソース、およびトラフィックを節約します。

テスト作業とデジタル広告キャンペーンを最大限に活用し、今すぐInstapageEnterpriseデモにサインアップしてください。