A / Bテストでローカルおよびグローバルの最大値を求めるタイミング
公開: 2017-03-06記憶喪失の濃い霧の中でエベレストに登っているところを想像してみてください。 伸ばした手までしか見えません。 自分がどこにいるのか、どの方向に向かうのかはわかりません。ピークに到達する必要があるだけです。 あなたがするオッズは何ですか？
おそらく山が高いのと同じくらい低いでしょう。
これは劇的なアナロジーですが、一般的なA / Bテスト方法の基礎を参照して作成されています。 そのピークはクリック後のランディングページの最高のバージョンであり、現在のページの山腹で混乱し、ほとんど盲目で、迷子になっています。
さらに悪いことに、お気に入りのマーケティングブロガーから間違った地図が渡された可能性があります。 あなたはあなたが正しい方法でA / Bテストをしていると思うかもしれません—あなたはそのピークの方向に向かっているということです。 ただし、間もなく行き止まりになり、クリック後のランディングページの最もパフォーマンスの高いバリエーションを見つけることはできません。
クリックしてツイート
初心者を混乱させるA / Bテストの神話
インターネット上で最も人気のあるマーケティングブログのいくつかは、最初から初心者を破滅させるA / Bテストの神話を永続させ続けています。 私が始めたときもそれは私を犠牲にしました。
「A / Bテストごとに複数のページ要素を変更しないでください」私は何度も読み続けました。 情報源が信頼できるものであり、ほとんどの場合、それは理にかなっているので、私はそれを疑問視しませんでした。
A / Bテストのポイントは、ページ、電子メール、広告、またはテストしているものすべてを最適化するために使用できるデータを収集することです。 バージョン「A」と「B」の間で複数の調整を行った場合、テストの終了時にコンバージョン率の変化の原因をどのように知る必要がありましたか？ それはどのようなデータでしょうか？
そこで、要素を1つずつテストしました。クリック後のランディングページ「A」の見出しとクリック後のランディングページ「B」の見出しです。 次に、クリック後のランディングページ「A」の青いボタンとクリック後のランディングページ「B」の緑色のボタンでした。 これは、プロとアマゾンとグーグルがそれをした方法でした。 数十億ドル規模の企業にとって十分であれば、私にとっても十分でした。
私が見落としていた問題は、数か月後に痛々しいほど気づきましたが、私はアマゾンでもグーグルでもなかったということです。 彼らのウェブサイトは大量のトラフィックを生成します。つまり、これらの軽薄なボタンの色のテストによって得られた小さなリフトは、数百万ドルの収益につながる可能性があります。
しかし、ほとんどの人にとって、それらは時間とリソースの無駄です。 ほとんどの人にとって、このA / Bテスト方法を使用することは、記憶喪失のある濃い霧の中でエベレストに登るようなものです。
山登りヒューリスティック
私たちの日常生活には、解決策が明確な問題があります。 しかし、なじみのない、ほとんどユニークな障害に直面した場合はどうなりますか？ たとえば、この迷路を見てください。
この特定の迷路をナビゲートするための最良の方法について書かれたブログ投稿はありません。 あなたの友人（おそらく）はそれを通してあなたを導くことができません。 地図がありません。 では、どのようにしてAからBに移動しますか？
その答えは、人工知能を研究するために1963年にNewell、Simon、Shawによって構築された「TheGeneralProblemSolver」と呼ばれるコンピュータープログラムにあります。 彼らの研究は、人間の問題解決にも応用されています。 ラスデューイ博士は次のように説明しています。
ニューウェルとサイモンは、それぞれの問題を空間として定義しました。 スペースの一方の端が出発点で、もう一方の端が目標です。 問題解決手順自体は、その空間を横断し、開始点から目標状態に一歩ずつ到達するための一連の操作として考えられています。
General Problem Solverでは、プログラムはさまざまなアクション（NewellとSimonが演算子と呼んでいます）をテストして、どちらが目標状態に近づくかを確認します。 オペレーターとは、システムの状態を変更するアクティビティです。 General Problem Solverは常に、目標に近づくように見える操作を選択します。 この戦術は、常に丘や山の頂上に向かって一歩を踏み出す戦術に似ているため、山登り法と呼ばれます。
上記の迷路では、各行き止まりは「スペース」です。「操作」で克服する必要のある問題です。「操作」は、目標に近づく（「A」から「B」に到達する）アクションです。
したがって、「A」から開始し、「B」に最も速く到達すると思われるパスをたどります。 行き止まりになったら、戻って別のルートを試します。 目標に到達するまで、このプロセスを繰り返します。
これは、小さな要素をA / Bテストするときに行っていることです。 たとえば、目立たないボタンなどの問題を特定します。 次に、あなたが仮定したものがより良いものであるかどうかをテストすることによって、クリック後のランディングページの最良のバージョンを作成するというあなたの目標に少し近づきます（またはそう思います）。 それがうまくいかない場合は、別のテストを行います。
ただし、ある時点で、「極大値」と呼ばれる収穫逓減のポイントに到達します。
極大値と大域的最大値
上記の方法が「山登り」ヒューリスティックと呼ばれる理由は、山の頂上を見上げる丘の上で頭をかいてしまう可能性があるという大きな制限があるためです。これは、クリック後の最適なランディングページです。 デューイ博士は次のように説明しています。
山登り法は単純な戦略ですが、常にうまくいくとは限りません。 潜在的な罠の1つは、「丘陵地帯の問題」です。 上り坂（または特定の方向）に行くステップを選択している場合は、自分と山の間にある丘陵地帯を登ってしまう可能性があり、その周りを回るはるかに効率的な手順を無視します。 言い換えれば、柔軟性のない目標に向かってまっすぐ進むと、高額の支払いをしたり、多くのエネルギーを浪費したり、目標に貢献せずに自分自身のためにより多くの仕事を引き起こしたりする可能性があります。
最適化の用語では、この「フットヒル」は「極大値」と呼ばれます。 これは現在のページの最良のバージョンであり、A / Bをさらにテストすると、収益が減少します。 山の頂上は「グローバルマキシマム」と呼ばれています。 これは、クリック後のランディングページの最良のバージョンです。 これは、説明に役立つグラフィックです。
単一のクリック後のランディングページから始めて、小さな要素を一度に1つずつA / Bテストして改善することで、その極大値に近づきますが、この方法ではその山の頂上に到達することはありません。 では、どのようにしてそこにたどり着くのでしょうか。
世界最大値に到達するためのA / Bテスト
「A / Bテストの特徴点に陥らないでください」というタイトルのブログ投稿で、MozのRand Fishkinは、家に近づきすぎる可能性のある苛立たしいシナリオについて説明しています。
比較的満足しているページ/コンセプトを見つけて、小さなことのテストを開始するとします-極小値を中心に最適化します。 4〜6か月間テストを実行し、全体的なコンバージョン率が5％向上することを確認して、かなり気分が良くなる可能性があります。 それまで...
テストで別の大きな新しいアイデアを実行し、さらに改善します。 これで、最初にテストしたばかりの新しいラフで最適化されていないページほど全体的なコンセプトが良くないページの最適化と完成に時間を浪費していることがわかりました。
代わりに、Fishkinは、他のマーケティングインフルエンサーと同様に、最初に「オーバーホール」と「大きなアイデア」をA / Bテストすること、つまり、根本的に異なるページをテストすることを推奨しています。 それらの根本的に異なるページの中で、最高のパフォーマンスを発揮するページは、グローバルな最大値に最も近いものです。 これは、多変量テストで微調整する必要があるものです。ボタンとボタン、見出しと見出しなどです。いくつかのケーススタディでこの方法がサポートされています。
グローバル最大値のA / Bテスト
1. Facebook
2008年、Facebookはまったく新しいナビゲーションデザインをテストしました。 彼らのチームはそれをページの左側から右側のドロップダウンに移動しました。 ただし、そうすることで、ナビゲーション内のアプリがユーザーに見えにくくなり、その結果、それらのアプリへのトラフィックが大幅に減少しました。 Facebookにとって貴重な収入源だったので、それは問題でした。
いくつかのエンゲージメントトリックで新しいデザインを救おうとした後、最適化チームは、彼らが極大値に達し、すべてを廃棄したことに気づきました。 Facebook製品開発者のAdamMosseriから：
ここで行っていたのは、極大値に最適化していたことです。 このフレームワーク内では、アプリケーションに到達できるトラフィックは非常に多くなりました。 そして、私たちが必要としていたのは構造の変更でした。 私たちの前提は外れていました。 私たちの興味は私たちを間違った道に導いていた。 私たちはそれを認識していませんでした[…]私たちはローカルで何かを最適化していたので、それから抜け出すためにいくらか混乱させる必要がありました。
2.モズ
MozのConversionRate Expertsによって作成されたこのバリエーションページは、元のページの6倍の長さでした。 元のページにはなかった要素の中でも、より多くのインフォグラフィック、異なる見出し、ビデオが特徴でした。 コントロールを52％上回りました。
チームが元のページの要素の改善に取り組んだだけだったとしたら、コンバージョンを半分に増やすコンテンツを追加することはなかったでしょう。 テスターから：
ランドの効果的な対面プレゼンテーションの分析では、モズの有料製品を主張するのに少なくとも5分は必要であることに気づきました。 既存のページは、1分間の要約のようなものでした。 ランドのプレゼンテーションの重要な要素を追加すると、ページははるかに長くなりました。
3.サーバー密度
オンラインで見つけるほとんどのA / Bテストのケーススタディは、Webページの外観に関係しています。 ボタンの色とボタンの色、または画像と画像であり、その数は日々増え続けています。 その結果、A / Bテストに飛び込むほとんどの人は、A / BテストはWebデザインにしか使用できないと考えています。
ただし、A / Bテストの概念は、Sever Densityのこの例でわかるように、製品設計や価格設定構造など、あらゆるものに適用できます。
サーバーとWebサイトの監視サービスである同社は、監視が必要なサーバーとWebサイトの数に基づいて顧客に支払いを許可しました。
この構造は、顧客の基盤を拡大することを目的としていましたが、現在、チームの目標はより高い収益にありました。 そのため、パッケージモデルを使用して、価格設定の完全なオーバーホールをA / Bテストしました。
新しい構造では実際にはコンバージョン数は少なくなりましたが、それぞれの価値は急上昇しました。 結果は次のとおりです。
平均注文額は、以前の注文額である19.70ドルと比較して55ドルを超えました。 持ち帰りは、テスターに2つの重要なことを思い出させます。
A / Bテストは、表面的な設計変更以外にも使用できます。
コンバージョンがすべてではありません。 コンバージョン数が少ないほど、より良い結果が得られる場合があります。
グローバルおよびローカルの最大値をどのように見つけますか？
注意：A / Bテストの強度は、大きな変更を加えて、可能な限りグローバルな最大値に近づいています。 極大値を見つけるには、代わりに多変量テストを使用することをお勧めします。
一度に1つのページ要素を厳密にテストするという罠に陥ったことがありますか？ グローバル最大値を見つけるために、テストごとに複数の変更を加えますか？
今日のInstapageEnterprise Demoで、すべてのオーディエンスに1：1の広告パーソナライズを提供する方法を学びましょう。