サイトのトラフィックが少ない場合のA / Bテストの5つの方法

公開: 2016-10-25

俳優のモーリス・シュヴァリエはかつて賢明に次のように述べています。 山に登ったり、レースに勝ったり、永続的な幸福を達成したりすることはありません。」

「…多くのA / Bテストが終了していません」と付け加えたいと思います。

分割テストを行う場合、勝利のバリエーションを宣言する「完璧な」時期は決してありません。 確かに、統計的有意性に達するのに十分な時間テストが実行されたときに瞬間が発生すると主張することもできますが、それでも、結果が完全に正確であるとは確信できません。

したがって、統計的有意性に到達するために必要な大量のトラフィックにアクセスできる大物でも、結果を100％確信できない場合、A /から適切な洞察をタイムリーに取得するにはどうすればよいでしょうか。 Bテスト？

統計的有意性に到達することの難しさ

A / Bテストでは、統計的有意性は、変動が実際に元の変動よりも優れているか悪いかを示します。 パーセンテージで測定されます。

統計的有意性の50％レベルでは、テスト結果が正確であると50％確信できます。 参考までに、50％はどの職業においても許容できるレベルの有意性ではありません。 どちらも75％ではありません。 85％でもありません。 それで、何ですか？

「一般的に、テストは90％の統計的有意性で実行されます」とOptimizelyは言いますが、CXLのPeepLajaは同意しません。

"十分じゃない。 ここで科学実験を行っています。 はい、あなたはそれが真実であることを望みます。 あなたはその90％が勝つことを望んでいますが、「宣言された勝者」を持つことよりも重要なのは真実に到達することです。」

彼はさらに次のように付け加えています。「95％以上に達する前にテストを呼び出すべきではありません。 95％は、結果が完全なまぐれである可能性が5％しかないことを意味します。」

では、95％の有意水準以外に、正確な結果を得るためにテストを設定するために何が必要ですか？

  • ベースラインコンバージョン率。 コントロールページの現在のコンバージョン率はどれくらいですか？
  • 検出可能な最小限の効果。 テストで測定できるようにしたいコンバージョン率の相対的な変化。
  • トラフィック。 統計的有意性のレベル、検出可能な最小効果、およびベースラインコンバージョン率に基づいて、正確な推論を行うことができる結果を生成するために、各バリエーションが必要とする訪問者の数を決定できます。

たとえば、コントロールページのベースラインコンバージョン率が5％だとします。 あなたとあなたのチームは、コンバージョン率の10％以上の調整はあなたの変更によるものであり、偶然ではないと自信を持って言えるようにしたいと考えています。 そして、あなたはあなたのテストがまぐれである可能性が5％だけであることを望んでいるので、あなたは95％の有意水準でテストしています。

これらの数値をOptimizelyのサンプルサイズ計算機に接続すると、次のようになります。

この図は、Webサイトのトラフィックが少なく、結果を見つける必要がある場合に、OptimizelyのA / Bテスト計算機を使用する方法をマーケターに示しています。

したがって、2つのページを相互にテストする場合、それぞれのサンプルサイズは31,000人の訪問者である必要があります。 ほとんどの企業にとって、それはかなり大きな数です。

数年前のHubSpotの顧客の調査によると、中小企業の1週間のユニークビジター数の中央値は次のとおりです。

この写真は、マーケターに週ごとのユニークビジター数の中央値と、Webサイトのトラフィックが少ないときにA / Bテストを行う方法を示しています。

あなたがこのグラフの最大のグループの一員であり、毎日の訪問者全員をテストに含めたとしても、統計的有意性に達するには85日かかります。 あなたが一番小さいなら、それはあなたにほぼ14年かかるでしょう。 それほど実用的ではありませんね。

それで、あなたが訪問者の安定した流れを生み出さないならば、それはあなたが全くA / Bテストをすることができないことを意味しますか？

いいえ。 あなたはまだできます—あなたはそれを少し違ったやり方でする必要があります。 テストでは、フィードバックの量（統計的有意性に到達するために必要な31,000人の訪問者のサンプルサイズ）に焦点を当てる必要はなく、フィードバックの質（各訪問者からより多くを把握する）に焦点を当てる必要があります。

統計的有意性に到達できない場合は、定性的なフィードバックを生成してトラフィックを改善します。

クリックしてツイート

定性的フィードバックと定量的フィードバックの違い

定量的なフィードバックはすべて数字に関するものです。 A / Bテストでは、十分な量的フィードバックが得られたら、訪問者の行動について推測を開始できます。

たとえば、上記の数値を使用して、クリック後のランディングページでA / Bテストを実行しているとします。 その中で、コントロールには赤いCTAボタンがあり、バリエーションには青いボタンがあります。これまでのところ、コントロールよりも多くの訪問者がバリエーションをコンバージョンしています。 各ページが31,000人の訪問者を生み出すまで、彼らがあなたのバリエーションでより多くを変換している理由がボタンの色の変化のためであると確信することはできません。

しかし、定性的なフィードバックを収集するときは、個々の見込み客とより深く関わり、彼らが行った決定を行った理由を判断します。 昔は、定性的なフィードバックは、マジックミラーの背後にあるフォーカスグループを介してのみ収集できました。 今日、マーケターは、各訪問者を最大限に活用するために自由に使える多くのツール技術を持っています。

1.調査技術を使用する

調査ツールを使用すると、ユーザーエクスペリエンスについて顧客に質問して、行動の原因が何であるかを判断できます。

「犬のトレーニングコース/電子書籍を販売しているとしましょう。 あなたは素晴らしい販売ページ、たくさんの推薦状、優れたデザイン、そしてコースに沿ったボーナス電子ブックを持っています。 ただし、変換は悲惨です。 ある日は、コンバージョンすらありません。

あなたは何ができますか？

Qualarooにサインアップし、訪問者にフィードバックを求めます。 サイドバーまたはスライドインに、「このサイトで直面している問題は何ですか？」と尋ねるスポットを作成します。

ジョージマシュー

「情報をどこに送信すればよいかわからない」、「このボタンが機能しない」などの回答が得られた場合は、31,000を聞く必要はなく、クリック後のランディングページを変更します。

ほんの少しの答えがあなたの低いコンバージョン日の背後にある理由を明らかにするかもしれません。 その訪問者のフィードバックを使用して、何を変更する必要があるかについての仮説を作成し、A / Bテストを実行して、それらの変更が違いを生むかどうかを確認します。

2.ライブチャットをお試しください

調査ツールがあなたの見通しについてより多くを教えることができる方法と同様に、チャットでライブサポート担当者もそうすることができます。 ライブチャットツールを使用すると、訪問者のブラウザに小さなポップアップチャットウィンドウを自動的に展開して、顧客が摩擦の問題に遭遇したときに役立つリソースとして紹介します。

それが起こった場合、彼らはあなたに援助を求めるだろうという考えです。 顧客が同じ問題に直面していて、「製品には保証が付いていますか？」などの質問をしている場合は、それを解決するページのバージョンをテストするときが来たと思います。 あなたの顧客があなたに何を望んでいるかを正確に知っているなら、あなたはテストから当て推量を取り除くことができ、あなたの新しいバージョンがコンバージョンの伸びをもたらすと確信することができます。

3.影響の大きい変更に焦点を当てる

十分なトラフィックがなく、どの変更がコンバージョン率に最大の影響を与えるかわからない場合、最善の方法は、大きな伸びをもたらす可能性のあるものに焦点を当てることです。 あなたはそのトラフィックを数える必要があります。

ロゴが少し小さいとコンバージョン率が変わる可能性はどのくらいですか？ 信じられないほど低い。 オレンジではなく赤の場合、CTAボタンを押す人はあと何人いますか？ おそらく非常に少ない。

リフトをもたらす可能性のあるものだけに焦点を当てることによって、トラフィックを最大限に活用します。

4.顧客に電話する

はい、確かに、人々は電話で電子メールで連絡することを好みますが、それはあなたが電話でそれらを得ることができないという意味ではありません。 GrooveのAlexTurnbullが行ったルートを試してみてください。

2014年9月、彼はこのメールを2,000人以上の顧客に送信しました。

この写真は、Webサイトのトラフィックが少ないときに、マーケターが顧客にA / Bテストを行うように電話をかける方法を示しています。

「反応は、私を吹き飛ばします」と彼は言います。 実際、それは非常に圧倒的だったので、アレックスは電子メールを介した単純なやり取りに気づき、各顧客との電話はもっともらしくありませんでした。 それで、彼は彼が持つ必要があるであろう膨大な量の会話を処理するのを助けるためにいくつかのサービスにサインアップしました。

ペンと紙、電話、Join.me、Skype、Doodleのメンバーシップを武器に、彼は応答したすべての人と話を始めました。 彼は4週間で、100時間以上かけて、Grooveから何を見たいかについて顧客に話しました。 結果は次のとおりです。

  1. 彼は、多くの顧客がGrooveの全機能を理解していないことを知り、製品にすでに組み込まれている機能によって解決できた可能性のある問題について繰り返し説明しました。
  2. 彼は多くの不幸な顧客を幸せな顧客に変えました。
  3. 彼はGrooveのバイヤーペルソナをよりよく理解しました。これにより、Grooveは、これまで検討していなかった市場セグメントをターゲットにすることができました。
  4. 彼は何百人もの顧客とより良い関係を築きました。
  5. 彼は、一部の顧客を比較的早く「驚かせる」機会を得ました。 多くの人が数分以内に修正されたカスタマーサポートの不満を持っていたため、ブランドの認知度が向上しました。
  6. 彼はGrooveのマーケティングコピーを改善する方法を学びました。 「お客様がアプリとそのメリットについて、個人的なストーリー、課題、目標とともに話すのを聞くことが、実際につながるマーケティングコピーを作成する唯一の方法です」と彼は言いました。 「お客様と話すことは、お客様が話すように話す唯一の方法です。」

顧客をよりよく理解することは、顧客の要望、ニーズ、およびそれらをオンラインで伝達する方法をよりよく理解することを意味します。 そのような洞察があれば、31,000人の顧客と話す必要はありません。 この場合、500回の短い会話は、数万回のクリックよりも簡単に価値がありました。

5.ヒートマッピングソフトウェアに投資する

各訪問を最大限に活用する必要がある場合、ヒートマッピングソフトウェアを使用すると、見込み客の行動についてより深い洞察を得ることができます。 マップにカーソルを合わせる、マップをクリックする、およびマップをスクロールすると、訪問者が何に注意を払っているのか、どこをクリックしているか、ページのどこまでスクロールしているかが表示されます。

唯一の問題は、このようなソフトウェアでは、データについて正確な推測を行う前に、ページごとに数千回の訪問が必要になることです。 これを回避するために、Peep Lajaは、EyeQuant、Feng-GUI、LookTrackerなどのアルゴリズムで動作するツールを使用することをお勧めします。

それらを使用すると、スクリーンショットをアップロードでき、ソフトウェアはページを改善するためのヒントを提供します。 「それはあなたの実際のユーザーではありませんが、それは何かです」とピープは言います。「そして私が信頼する何人かの人々は彼らの正確さを誓います。」

Instapageを使用して、クリック後のランディングページを構築およびA / Bテストし、今すぐInstapageEnterpriseデモをリクエストしてください。