多変量テスト：最良の結果を得るために最良のテストを実行する方法
公開: 2017-02-09A / Bテストは、クリック後のランディングページの最適化のアイデアを見つける最も簡単な方法の1つですが、常に最も効率的な方法であるとは限りません。
一度に2、3、または4ページのテストを開始する前に、さらにテストする方法を見つけ、訪問者を変換するための要素の最適な組み合わせを見つけてください。
クリックしてツイート
A / Bテストとは何ですか？
A / Bテストは、分割テストとも呼ばれ、Webページの2つの異なるバージョンを比較して、どちらが訪問者をより適切に変換するかを判断できます。
これらの2つのページは次のようになります。
- 少し違う
変換率の高いデザインがあり、単一の要素を改善する方法を知りたい場合は、1つの違いだけで2つの異なるページをテストできます。 好奇心やニュースに焦点を当てたヘッドラインのパフォーマンスが優れているかどうかを確認したい場合は、ヘッドラインとヘッドラインをテストできます。 動画やGIFがコンバージョンにさらに影響を与えるかどうかを確認したい場合は、各ページで1つずつテストできます。
それぞれに等しいトラフィックを促進した後、最も多くのコンバージョンを生成したものが勝者です。 また、2つのページの違いは1つしかないため、1つがより多くのコンバージョンを生成した理由は明らかです。
- 大幅に異なる
複数の方法で異なる2つのページをテストすることもできます。 元のページには、バリエーションとは異なる見出し、注目の画像、行動を促すメッセージのボタンを含めることができます。 テストすると、次のようになります。
元のページ（Aまたは「コントロール」）とバリエーションページ（B）の両方に等しいトラフィックを誘導した後、より適切に変換された方が勝者です。 ただし、テストごとに1つの要素のみを変更する場合とは異なり、大幅に異なるページをテストする場合、特定のページが勝った理由を判断する方法はありません。
上記の例の結果を見ると、バージョン「b」がバージョン「a」よりも優れていることがわかりますが、原因がいくつかあるため、バージョン「b」が優れている理由はわかりません。 変換は、ナビゲーションバーを左から右に調整するか、サインアップフォームを上から下に調整することで行うことができます。 大幅に異なるデザインをA / Bテストするときに確実にわかるのは、1つのページが他のページよりも優れているということだけです。
ただし、複数の要素への変更が互いにどのように相互作用するかを判断するために実行できる別の種類のテストがあります。 これは多変量テストと呼ばれます。
多変量テストとは何ですか？
多変量テストは、オプティマイザーが2つの異なるWebページを比較するために使用するプロセスです。 この方法は、複数の要素間の微妙な変化を比較し、それらの要素が互いにどのように相互作用するかを測定して、最高のパフォーマンスを発揮することを目的としています。
A / Bテストと多変量テストの違い
おそらく、ある見出しを別の見出しと比較したり、注目の画像と動画を比較したり、1つの召喚状とわずかに異なるものを比較したりして、勝利のページを見つけるA / Bテストのケーススタディをたくさん読んだことがあるでしょう。 Widemileのオプティマイザーによると、これらは正確にそれを行うために使用できますが、A / Bテストを使用するためのより理想的な方法があります。
A / Bテストの理想的な用途は、「2つ以上の根本的に異なるページをテストする」ことだと彼らは言います。 テスト用語では、A / Bテストで「グローバル最大値」と呼ばれるものを見つけ、多変量テストで「ローカル最大値」に向けて調整することをお勧めします。
グローバル最大値とローカル最大値
難しいことですが、人生でアイスクリームのスクープを一度も食べたことがなく、アイスクリームパーラーに立って、30種類のフレーバーのどれを購入するかを決めようとしていると想像してみてください。 。
チョコレートは10種類、バニラは10種類、イチゴは10種類あります。 スクープしたいフレーバーを決める前に、30種類すべてのフレーバーを試してみますか？
おそらくそうではありません。 チョコレート、ストロベリー、バニラなど、大きく異なるフレーバーを1つずつ試して、最も好きな種類を絞り込んでください。 バニラやストロベリーよりもチョコレートが好きだとわかったら、「チョコレートチップクッキー生地」、「チョコレートピーナッツバター」、「チョコレートファッジ」などのフレーバーを試して、どのチョコレートが一番好きかを判断します。
統計的には、あなたが最も気に入った品種（チョコレート、バニラ、またはイチゴ）を世界最大と呼びます。 これは、3つの劇的に異なるタイプの中であなたにとって最もおいしい味です。 品種の特定のフレーバー（チョコレートファッジ、チョコレートチップクッキー生地、チョコレートピーナッツバター）は、地元の最大のものになります。 それはあなたが選んだ品種の最高のバージョンです。
オプティマイザーとして、同様にテストに取り組みたいと考えています。 訪問者を最もよく変換するページ（グローバル最大値）を見つけてから、そのページの特定の要素を微調整して、可能な限り最も変換率の高いページ（ローカル最大値）に改善します。 どちらを探しているかによって、使用するテストが決まります。
A / Bテストを使用する場合と多変量テストを使用する場合
A / Bテストは、グローバル最大値のテストに最適です。 彼らはあなたの訪問者がどのページに変換したいかを見つけるのに最適です。 この例は、InvestopediaがニュースレターであるInvestopediaAdvisorのコンバージョンを促進するためにA / Bテストを使用したMarketingExperimentsからのものです。
オファーはシンプルで、ストックのヒントが記載された無料のニュースレターでした。そのため、元のページにはそれが反映されていました。 それは長くも複雑でも、多くの要素で雑然としていませんでした。 これは、1フィールドのリードキャプチャフォーム、箇条書きのコピー、およびインフォグラフィックを備えていました。
しかし、貴重な無料オファーにもかかわらず、それは1.33％でしか変換していませんでした。 MarketingExperimentsのチームは、ページを完全にオーバーホールすることを決定しました。 彼らは、とりわけ、見出し、レイアウト、CTAボタンを変更し、いくつかのバッジを追加しました。 次に、新しいページと元のページをA / Bテストしたところ、新しいページの変換率が89.4％高くなっていることがわかりました。 外観は次のとおりです。
このA / Bテストでは、実験者は新しいページが古いページよりもよく変換された理由を正確に理解していませんでしたが、新しいより高いコンバーターを見つけたことを覚えておくことが重要です。 言い換えれば、彼らは新しいグローバルな最大値を見つけました。 その時点で、必要に応じて、多変量テストを使用してこのページを改良し、要素のどの組み合わせが最も多くの訪問者を変換するかを判断できます。
たとえば、Optimizelyのこの架空の例のテスターは、まさにそれを実行したいと考えています。 彼らは、見出しと画像のどの組み合わせが最も多くの訪問者を変換するかを把握したいと考えています。
そのため、見出しと画像の組み合わせが異なる複数のページを作成して、どれが最も効果的かを確認します。
これらの4つのバージョンのうち、コンバージョン率が最も高いテストから出てきたものが勝者です。 電球を使用した2つのバージョンが、ギアを使用した2つのバージョンよりもパフォーマンスが優れている場合は、電球の画像がコンバージョンに最も大きな影響を与えると結論付けることができます。 そこから、付随するどの見出しがより多くのコンバージョンを生み出したかを確認し、そのページを使用します。
多変量テストの実施方法
数年前、VWOの創設者であるParas Chopraが自分のWebページでのダウンロードを増やしたいと思ったとき、彼は多変量テストを使用してその方法を理解しました。 A / Bテストを実行する手順に精通している場合は、この多変量テストの例のほとんどの手順を理解できます。
1.問題を特定する
Webページの改善を開始する前に、データを掘り下げて、訪問者がデータをどのように操作しているかを確認することをお勧めします。 彼が見つけたのは、人々が彼の「ダウンロード」ボタンをクリックするはずだったほどクリックしていなかったということでした。そこで彼はページを調査して理由を突き止めました。
2.仮説を立てます
徹底的な調査の結果、彼はダウンロードリンクがまったく目立たないことに気づきました。 そこで彼は、ページを改善するための仮説を立てました。
訪問者にダウンロードリンクを認識させるための明白な解決策は、ダウンロードセクションをページの最も目立つ部分にすることです。 ページデザインでは、「ダウンロード」の見出しのサイズと色がページの残りの部分にうまく溶け込んでいたため、ダウンロードリンクが表示されませんでした。
「ダウンロード」リンクをより目立たせることで、彼はコンバージョンを増やすことができると信じていました。 これが彼がそれをすることに決めた方法です。
3.バリエーションを作成する
次に、テスト用のバリエーションページを作成します。 パラスによると：
多変量テストでは、バリエーションを作成するためにページで2つの要素を選択しました。サイドバーの「ダウンロード」見出しとその下の「PDFProducer」ダウンロードリンクです。 テストの焦点は、「無料」という単語の効果と、ダウンロードセクションを強調表示する効果を観察することでした。
これが彼がダウンロードセクションをより目立たせて魅力的にすることに決めた方法です。
元の「ダウンロード」リンクについて、彼は3つの異なるバリエーションをテストしました。
- 赤字の「ダウンロード」
- 赤字の「無料ダウンロード」
- デフォルトの色で「ダウンロード」しますが、フォントサイズは大きくなります
元の「PDFProducer」リンクについて、彼は2つの異なるバリエーションをテストしました。
- 「PDFProducer」はデフォルトの色ですが、フォントサイズが大きくなっています
- 赤字の「PDFProducer」
これは、すべての組み合わせがどのように見えるかです。
ダウンロードリンクの4つのバージョン（オリジナルを含む）と「PDFProducer」テキストの3つのバージョン（これもオリジナルを含む）を使用して、完全な階乗テストを実行するために12の異なるバリエーションが形成されました。 完全な階乗は、最も影響力のあるものだけをテストする部分的な階乗とは対照的に、すべての組み合わせをテストします。
多変量解析には複数の方法（完全因子、部分因子、タグチ）がありますが、ほとんどのオプティマイザーは、その精度のために完全因子を実行することを推奨しています、とCXLのAlexBirkettは主張します。
4.サンプルサイズを決定します
ページへのトラフィックを増やす前に、サンプルサイズを決定する必要があります。つまり、テストの結果について結論を出す前に、各ページが生成する必要のある訪問者の数です。
VWOのこの計算機は、訪問者の数、Webサイトのトラフィック、バリエーションの数、統計的有意性に基づいてテストを実行する必要がある時間を把握するのに役立ちます。
統計的有意性に到達する方法、および計算機に入力する必要があるすべてのことについて詳しくは、このブログ投稿をご覧ください。
5.ツールをテストします
トラフィックの実行を開始する前に、すべてをテストしてください。 クリック後のランディングページはすべてのブラウザで同じように見えますか？ CTAボタンは機能していますか？ 広告内のすべてのリンクは正しいですか？
何かを実行し始める前に、キャンペーンのあらゆる側面をQAして、結果を損なうものがないことを確認することが重要です。
6.トラフィックの促進を開始します
バリエーションを作成し、それぞれに生成する必要のあるトラフィックの量がわかったので、それらにトラフィックを誘導し始めても安全です。 多変量テストの最大の欠点は、テストを終了する前に必要となる膨大な量のトラフィックであるため、辛抱強く待つ必要があります。
A / Bテストを行う場合、大量のトラフィックを誘導するために必要なページは2ページだけです。 しかし、たとえばParasのような多変量テストでは、テストを呼び出す前に大きなサンプルサイズを収集する必要がある12の異なるページがあります。
有効性に対する脅威に注意し、誤検知の発生率の増加を説明することを忘れないでください、とLeonidPekelisは言います。
「基本的に、インタラクションごとに個別のA / Bテストを実行しています。 測定する相互作用が20あり、テスト手順でそれぞれの誤検出が5％の割合で検出される場合、突然、1つの相互作用が偶然に完全に有意に検出されると予想します。 これを説明する方法はいくつかあります。それらは一般に多重検定修正と呼ばれますが、繰り返しになりますが、最終的な結果を表示するには、より多くの訪問者が必要になる傾向があります。」
7.結果を分析します
4週間テストを実行した後、これはParasが見つけたものです。
赤字の「無料でダウンロード」という見出しがダウンロードコンバージョン率を39％から63％に押し上げ、60％も大幅に増加したことがわかります。 大きなフォントサイズ（リンクの色を赤と組み合わせたもの）で「ダウンロード」を使用すると、デフォルトよりもプラス（43％）の改善が見られました。 すべての結果の中で、上位3つは95％以上の信頼水準で統計的に有意です。
Parasは新しいページを実装してこのテストを忘れた可能性がありますが、代わりに、重要な最終ステップを強調しています。
8.結果から学ぶ
あなたのテストのそれぞれはあなたが将来のテストを知らせるために使うことができるあなたのウェブページと彼らの訪問者について何かを学ぶために使われるべきです。
彼は自分のWebページで次のことを学びました。
- 「無料」という言葉は彼のウェブサイトの訪問者に共感を呼んだ。
- オファーの無料の性質は、召喚状またはその近くで最もよく宣伝されます。
- 赤い色は彼の訪問者の注意を引いた。
- より大きな行動への呼びかけは、より多くの訪問者の目を引き付けました。
しかし、これらは彼のテストの結果であることを忘れないでください。 「無料」という言葉は、無料のオファーを宣伝するWebページで常に使用できますが、CTAの最適な場所、サイズ、および色はWebページで異なる場合があります。 確実に知る唯一の方法はテストすることです。
多変量テストを試しましたか？
多変量テストは複雑すぎると思ったので、外れたことがありますか？ 今すぐInstapageEnterpriseデモにサインアップしてください。