9 A / Bテストの間違いをやめる必要がある

公開: 2016-08-17

間違いは学習プロセスの避けられない部分ですが、間違いを犯すとあなたのビジネスのお金がかかるとき、彼らはもう少し刺す傾向があります。

すべての経験レベルのマーケターが同意します-A / BテストよりもWebページ、電子メール、および広告を改善するための信頼できる方法はありません-効果的であるために、それらのA / Bテストは正しい方法で実行される必要があります。不幸な真実はこれまでにほとんどありません。

あなたが犯しそうなA / Bテストの間違い

ある時点で、A / Bテストによってリソースが誤って浪費された可能性があります。たぶん、あなたは重要でない何かをテストしたか、誤った結果に基づいて無意識のうちにビジネス上の決定を下しました。それが何であれ、あなたは一人ではありません。

マーケティングの初心者とベテランの両方が、まだ次の9つのA / Bテストの間違いを犯しています。あなたがそれらのいくつかを認識しているなら、素晴らしい。あなたは何を避けるべきかについての考えを持っています。そうでなければ、さらに良いです。この投稿の終わりまでに、次のキャンペーンが保存されたことがわかるかもしれません。

1.理由のないテスト

あなたが自分のオフィスに座って「次に何をテストすべきか」と自問しているなら、あなたはすでに失敗する運命にあります。データに裏打ちされたすべてのテストを実行する理由があるはずです。代わりに、「なぜXをテストするのですか？」と自問する必要があります。

たとえば、ボタンのサイズだけをA / Bテストしないでください。ヒートマッピングソフトウェアを使用して、見込み客がそれに注意を払っていないことがわかった場合は、 A / Bテストを行って、より目立つものが上昇をもたらすかどうかを確認します。その後、次のような知識に基づいた仮説を立てます。

「ヒートマップソフトウェアを使用していると、召喚ボタンが必要な注目を集めていないことに気づきました。そのため、ボタンのサイズを大きくすると目立つようになると思います。」

次に、結果をどのように測定するかを決定します。このようなテストの場合、新しいヒートマップデータは、訪問者がそれにもっと注意を払っているかどうかを示す可能性があります。クリックスルーが多いほど、魅力が大きいことを示している可能性もあります。

そもそもテストに拍車をかけた問題の解決策が見つかるまで、このプロセスを繰り返します。次に、このプロセスを使用して、ビジネスの他のマーケティング業務を最適化します。

2.複数の要素をテストする

データは、ページで新しい見出しと1つ少ないフォームフィールドを一緒に使用できることを示唆している可能性がありますが、両方を同時にテストすると、解釈が難しいデータのヒープ全体が生成されます。これはA / Bテストではなく、「多変量テスト」であり、正しく行うのははるかに困難です。これが理由です…

A / Bテストでは、ある要素と別の要素の有効性を判断します。たとえば、赤いボタンと黒いボタンの違いは次のとおりです。

ここでは、成功の指標に基づいてパフォーマンスが優れているページが勝者です。成功指標がコンバージョンであり、赤いボタンのあるページがより多くを生成する場合、赤いボタンの方がうまく機能します。多変量テストでは、物事はもう少し複雑になります。

画像と見出しの2つの要素が評価されている、理論的な多変量テストのOptimizelyのこの2番目の例を見てみましょう。

上記のように、1つのバリエーションに対してもう1つの要素をテストすると、結果が2倍になります。このテストの結果はそれほど明確ではありません。

上記の4つの異なるページにトラフィックを集中させており、成功の指標がコンバージョンである場合、最も多く生成されたものが勝者です。ただし、A / Bテストとは異なり、そのページが勝った理由を判断するのはそれほど簡単ではありません。

たとえば、A / Bテストでバリエーションの見出しがコントロールの見出しよりも多くのコンバージョンを生成する場合、テストが正しく実行されたと仮定すると、バリエーションの見出しの方が優れています。 2つのページの唯一の違いであるため、見出しがパフォーマンスの向上の理由であることは間違いありません。

ただし、多変量テストでは、要素のどの組み合わせが最も多くの変換を生成するかだけでなく、それらの要素間の関係も決定する必要があります。 Optimizelyの見出し/画像の例のどの組み合わせが勝つかに関係なく、テスターは「これらの要素が互いにどのように相互作用して最大のコンバージョンを生み出すか」を尋ねる必要があります。

「唯一無二のAcmeウィジェット」という見出しの両方のページのパフォーマンスは他のページよりも優れていましたか？見出しがリフトに最も責任があった可能性があります。これら2つの中で、ギアの写真がより多くのコンバージョンを生み出したのはなぜですか？

これらは、データの詳細な調査を通じて答えを見つける必要がある質問です。さらに、そのデータを取得するためだけに、はるかに多くのトラフィックが必要になります。

経験則は？ CXLのAlexBirkettは、トラフィックが大量にない場合は、A / Bテストに固執することをお勧めします。

3.すべての時間をA / Bテストに費やす

A / Bテストのブラインドを取得するのは簡単です。クリック後のランディングページ（または広告、電子メール）で要素の完璧な組み合わせを探して、キャンペーンの他のすべての部分を無視するほどに追いつくことができます。これをあなたに起こさせないでください。

人々がコンバージョンに至らない理由は、クリック後のランディングページがうまくまとめられていないためとは限りません。トラフィックが少ないか、リード育成キャンペーンが強力でない可能性があります。

クリック後のランディングページの画像と広告コピーのA / Bテストに時間を無駄にしないでください。全体像を考え、最初に目標到達プロセスの最大の穴を最適化することを忘れないでください。ここで最大のメリットが得られます。次に、A / Bテストを通じてプロセスの完成を開始します。

4. A / Bテストのベストプラクティスに盲目的に従う

結局のところ、ベストプラクティスがすべての人にとって常に最善であるとは限りません。あるビジネスでうまくいったことは、あなたのビジネスではうまくいかないかもしれません。適例：

数年前、データアグリゲーターのDevice Magicは、画像スライダーまたはビデオがホームページでより多くの見込み客を変換するかどうかを学習するために着手しました。そこで彼らはA / Bテストを実施しました。

しかし、なぜ彼らはそうするのでしょうか？

多くの研究では、画像スライダーがバナーのブラインドを引き起こし、見づらい場合があり、クリックされることはめったにないことがすでに示されています。さらに、多くの研究により、変換するビデオの力が証明されています。一部の企業では、コンバージョン率が80％も上昇しています。これは簡単なことです。勝利のためのビデオでしょ？

そうではない、デバイスマジックのA / Bテストの結果は言った。これが彼らのコントロールビデオのホームページです：

そして、これがバリエーションスライダーのホームページです。

スライダーを備えたバリエーションにより、コンバージョンが35％増加しました。

デバイスマジックチームは、そのテストから2つの貴重なことを学びました。 1つ：ベストプラクティスを心から信頼しないでください。2つ：次の間違いをしないでください…

5.テストの終了が早すぎる

通常の仕組みは次のとおりです。テスターは、ページのバリエーションがコントロールよりも優れていることを証明するために、かなりの数の訪問者と見なされる範囲に到達します。その逆も同様です。彼らは100または1,000で停止し、勝者を宣言します。

それがDeviceMagicのチームが行ったことであり、VWOのブログ投稿にParasChopraが書いています。

当初、彼らのコントロール（ビデオ付き）はバリエーション（画像スライダー付き）を打ち負かしており、その理由を理解できませんでした。しかし、その後、より多くのデータが得られるまで、テストをしばらく実行しました。驚いたことに、結果は、制御を上回る変動に反転しました。これは、彼らが期待していたことです。そして、この結果は統計的に有意でした。
パラスチョプラ

小さすぎるサンプルサイズを使用することは、「誤検知」と呼ばれる結果となる可能性のある1つの間違いにすぎません。これは、意味のあるものに偽装した不確定なテスト結果です。 Device Magicのテストでは、その誤検知は、長期的にはそうではなかったとしても、彼らのホームページがスライダーよりもビデオでより効果的だったということでした。これは、A / Bテストを行っているページへの十分な訪問者がいなければ、結果から自信を持って推測するのに十分なデータがないことを証明しています。

これは、小さなサンプルサイズを使用した場合の誤検知がどのように見えるかについてのBennyBlumのはるかに単純な例です。

帰無仮説を考えてみましょう。犬は猫よりも大きいです。ハバニーズとライオンなど、1匹の犬と1匹の猫のサンプルを使用すると、私の仮説は正しくなく、猫は犬よりも大きいと結論付けられます。しかし、さまざまな猫や犬でより大きなサンプルサイズを使用した場合、サイズの分布は正常化され、平均して犬は猫よりも大きいと結論付けられます。
ベニー・ブルーム

では、サンプルサイズが小さすぎることに伴う誤検知にどのように対処しますか？真面目な計算で十分な大きさのものを見つけるか、Optimizelyのこのような気の利いた計算機を使用できます。

ここで覚えておくべき重要なことは、A / Bテストの結果を完全に確認するために生成できる訪問者の時間や量は決まっていないということです。 CROの第一人者であるPeepLajaは、彼のソフトウェアが彼のバリエーションを敗者と宣言したときのことを説明しています。

私が作成したバリエーションは、89％以上（許容誤差に重複がない）、悪くなっています。一部のツールはすでにそれを呼び出しており、統計的有意性は100％であると言っています。私が使用したソフトウェアによると、バリエーション1はコントロールを打ち負かす可能性が0％です。私のクライアントはそれをやめると呼ぶ準備ができていました。ただし、ここでのサンプルサイズが小さすぎるため（バリエーションごとに100回を少し超える訪問）、私は固執し、これは10日後のように見えました。
のぞきラジャ

コントロールを破る可能性が0％だったバリエーションは、95％の信頼度で勝っていました。」

テストの実行時間が長くなり、訪問者が増えるほど、完全にそこに到達できなくても、結果について「確実」に近づくことができます。

6.さまざまな時点での要素のテスト

統計的有意性に達した後でも、テストの終了が早すぎる可能性があります。あなたのサイトが週末に各ページに15,000人の訪問者で統計的有意性に達するのに十分な訪問者を生み出したとしましょう。それはまだあなたの実験を呼び出す時間ではありません。

当然のことながら、曜日はトラフィックとコンバージョンに深刻な影響を及ぼします。土曜日にテストを開始する場合は、統計的有意性にすでに達している場合でも、1日または2日で結果が歪む可能性を減らすために、次の土曜日にテストを終了する必要があります。週末にWebサイトにアクセスするオーディエンスは、その週にWebサイトにアクセスするオーディエンスとは大きく異なる可能性があり、テスト結果に影響を与える可能性があります。

7.交絡変数を排除しない

交絡変数は、まさにそのように聞こえます。A/ Bテスト内の変数は、結果を混乱させます。それらを特定できないということは、データの有効性を危険にさらすことを意味します。交絡変数がテストでどのように見えるかについてのOptimizeSmartの例を次に示します。

たとえば、テストの途中で広告ターゲティングを変更してバリエーションとは異なるトラフィックを生成する場合、ページにアクセスするユーザーを変更することで結果を変更します。まったく異なる人口統計として、それらの人々はあなたのバリエーションの見出しや画像をより受け入れやすいかもしれません。

評価する要素以外のすべてのものは等しく、A / Bテスト全体を通して等しいままである必要があることに注意してください。このようにして、パフォーマンスの違いがテストしている要素の結果であると確信できます。

8.リフトをもたらさない要素のテスト

はい、マーケティングでは色が重要ですが、パフォーマンスに最も大きな影響を与えるものを特定するために、Googleが数年前に行ったように41色すべての青をテストする必要がありますか？

絶対違う。

このような軽薄なA / Bテストで時間を無駄にしないでください。グーグルはそれをするためのリソースを持っています（彼らがこのようにそれらを使うべきだったと私達が信じているわけではありません）、あなたはそうではありません。パフォーマンスの向上があったとしても最小限になるようなテストに時間を無駄にしないでください。

9.1回のテストの後であきらめる

ページの注目画像をA / Bテストしたとしましょう。そうすることで、10％の持続的なコンバージョンリフトが得られました。おめでとう！それは素晴らしいですが、それはあなたが最高のイメージを持っていることを意味しますか？いいえ。それはあなたが以前より良いイメージを持っていることを意味します。

このウェビナーのクリック後のランディングページのテストをあきらめ、バリエーション「B」からのコンバージョン率が45％上昇したことに満足していれば、バリエーション「C」から得た驚くべきブーストは見られなかったでしょう。

オリジナルは次のとおりです。

コンバージョン数が45％増加したバリエーション「B」は次のとおりです。

そして最後に、これがバリエーション「C」で、コンバージョンを129％も押し上げました。

最初にテストが成功しない場合は、再試行してください。そして、それらが成功したとしても、さらに良い結果を得るために、もう一度試してみてください。ただし、最初にInstpageを使用してパーソナライズされたポストクリックページの作成を開始し、今すぐInstapageEnterpriseデモをリクエストしてください。