A / Bテストの信頼できる唯一の情報源（SSOT）を確立するためのベストプラクティス

公開: 2022-06-14

あなたのCXテストはあなたのデータの質で生きるか死ぬかです。疑わしいデータを使用して、有効で妥当な仮説を立てることはできません。また、正確な指標を見ていることがわからない場合は、テストの結果を信頼することはできません。

そのため、信頼できる唯一の情報源（SSOT）データセットを中心にテストプログラムを構築する必要があります。できない場合は、最も単純なA/Bテストでも価値がありません。この記事では、SSOTの確立が非常に重要である理由を探り、ここカメレオンでそれを行うために開発したフィールドテスト済みのベストプラクティスのいくつかを共有します。

SSOTとは

現代のビジネスの意思決定は、データ主導でなければなりません。 SSOTを維持するということは、CXの実験やその他の機能について、1つのデータソースを、そのチームの作業を実行し、会社の決定を通知するための決定的な「真実」として標準化することを意味します。

SSOTがないと、データがさまざまな機能のためにさまざまなチームによって保護されたサイロに断片化するリスクがあります。標準化もコンセンサスもありません。また、入手可能な最良の情報に基づいて誰かが意思決定を行っているかどうかを知る方法もありません。

SSOTは、特定のテクノロジーやシステムではありません。これは、チームの活動から最適な結果を得るために設計されたビジネス慣行です。一部の企業は、基礎となる作業に触れることなく、SSOTデータ戦略に移行することで数百万ドルを節約しました。

調査によると、高品質の顧客行動指標は、戦略的意思決定に情報を提供するための最も人気のあるデータであり続けています。プライスウォーターハウスクーパースの年次CEO調査では、数年にわたって、CEOはそれを戦略的計画に必要な最も重要な指標として評価しています。

A/Bテストとは

A / Bテストは、元のバージョン（Aバージョンまたはコントロールバージョン）のパフォーマンスを変更されたBバージョンと比較することにより、Webサイト、モバイルアプリケーション、または広告を試すための方法です。目標は、それぞれのパフォーマンスデータを収集し、統計分析を実行し、データに基づいて、どのバージョンが最もパフォーマンスが高いかを判断することです。
A / Bテストは、単一のWebページ要素以上のものをテストするために機能します。たとえば、これを使用して、価格設定を最適化し、製品機能を検証し、さまざまな訪問者セグメントに合わせてWebサイトをパーソナライズできます。さらに、A / Bテストは、多変量テスト、製品の推奨、プロファイルベースのターゲティングなど、他の多くのCX最適化手法の基盤です。

テストにSSOTが必要なのは誰ですか？

実験チームは、分析プラットフォーム、CRM、テストプラットフォームなどで生成されたデータを調べています。チームが何をしたいのかを明確にするために、テスト用のSSOTを確立する必要があります。例を考えてみましょう。

Kameleoonのクライアントの1つは、Webサイトの検索機能を最適化するキャンペーンを開始しました。彼らは、アクセスページへのトラフィックの追跡を含むサーバー側のテストを実施しました。

しかし、彼らは多くの実験プログラムが直面する問題に遭遇しました。GoogleAnalyticsのデータは、あるページ訪問数を示し、彼らの実験ツールは別の数を示しました。差は9％以上でした。

月に100万人以上の訪問者がいるeコマースWebサイトであるため、信頼するデータセットの決定は、会社のKPIレポートに大きな違いをもたらしました。一部のミッドブランドとエンタープライズブランドは、訪問者の統計で最大10％の差異を無視できますが、データの9％の差異により、この会社の実験チームは緊張しました。

このチームは、カメレオンのようなツールに投資するための予算を含め、実験プログラムに最近賛同を得たばかりでした。彼らは明確な結論のあるテストを望んでいました。代わりに、彼らのデータの正確性は疑わしいものでした。彼らはSSOTを確立する必要がありました。

私たちは、この会社が訪問者のデータトラッキングをクリーンアップし、SSOTを確立し、成長に必要なテスト結果を取得するのを支援しました。そのために、私たちは彼らが7つのSSOTベストプラクティスを採用するのを支援しました。ここでは、これらのベストプラクティスを共有します。これは、テストデータを整理し、実験プログラムを最大限に活用しようとしているCXチームは、これらを使用して成長できるためです。

テストデータの不一致を排除し、SSOTを確立するためのベストプラクティス

1.何かをする前に、A/Aテストを実施します

A / Bテストは製品またはページの古いバージョンと新しいバージョンを比較しますが、A/Aテストは同じように比較します。なぜあなたはこれをしたいのですか？したがって、各監視プラットフォームによって生成されたデータを比較できます。

A / Aテストでは、両方のバリエーションは同じですが、それらを表示するユーザーは異なります。

行動を起こす方法

本格的なA/Bテストを実施する前、またはデータを収集する新しい実装を展開する前に、A/Aテストを実行して調整します。完璧な世界では、A/Aテストは同じ結果を返します。実際には、それが発生することはめったにありませんが、それでも、対処している不一致の程度を知ることができます。

たとえば、A / Aテストを実行すると、同じセッション、ユーザー、訪問、コンバージョン、または測定する指標全体で、Googleアナリティクスがテストツールと比較して取得する指標を確認できます。

2.すべてのツールで訪問者と訪問を同じ方法で追跡します

分析ツールによって追跡される訪問者または訪問の数は、ユーザーおよびセッションと正確に一致することはありません。ただし、分析プラットフォームとA / Bプラットフォームで訪問数が同じようにカウントされるようにして、差異を減らすことができます。

Google Analyticsでは、訪問を終了する方法が2つあります。

時間ベースの有効期限：ここでは、セッションは30分間非アクティブになった後、または深夜に期限切れになります。たとえば、カメレオンでは、30分間非アクティブになっています。

キャンペーンの変更：同じ訪問者が1つのキャンペーンで到着し、2分後に出発し、2分後に別のキャンペーンで戻ってきた場合、Googleアナリティクスは2回の訪問をカウントします。一部のA/Bテストツールでは、これを1つと見なします。

行動を起こす方法

分析ツールで訪問者と訪問がどのようにカウントされるかを確認し、テストツールでも同じであることを確認します。またはあなたがそれを変えることができるということ。 Kameleoonでは、分析プラットフォームを信頼できる唯一の情報源として使用することをお勧めします。

GAでは、[セッション設定]でセッションとキャンペーンがタイムアウトするまでの時間を編集できます。

なんで？ SSOTは、組織レベルで定義する必要があります。そのため、テストチームがテストプラットフォームのデータを1日中使用している場合でも、他のチームは他の目的でGAからのデータを参照する必要がある場合があります。 SSOTを、組織の最も幅広いチームが参照するデータセットになるように設定します。

3.分析ツールでブラウザーとバージョンフィルターを作成します

多くのA/BテストプラットフォームはInternetExplorerで実行されないため、そのブラウザーでのアクセスは実験レポートから自動的に除外されます。ただし、IEを使用している大規模なレガシー組織をターゲットにすると、IEによってデータの不一致が発生する可能性があります。

もう1つの潜在的な追跡の問題は、Google Analyticsがすべてのブラウザバージョンと互換性があるのに対し、A /Bテストツールは通常、最後のいくつかのバージョンとのみ完全な互換性を維持していることです。

行動を起こす方法

Google Analyticsで、すべてのプラットフォームが一致するように、対象のブラウザーとブラウザーのバージョンに基づいてカスタムフィルターを作成します。あなたはでこれを行います

たとえば、[表示]で、古いバージョンのGoogleChromeを除外する方法は次のとおりです。

4.すべてのツールで問題のあるトラフィックをフィルタリングします

正当なオーディエンスメンバーからのみデータを収集することにより、SSOTデータセットを可能な限りクリーンに保ちます。ボット、トロール、トラッカーのバグ、またはその他の外れ値のトラフィックでデータを混乱させたくありません。ボリュームの減少を心配する必要はありません。結果の品質が向上します。

行動を起こす方法

高度なA/Bテストツールは、すぐに使用できるいくつかのボットフィルタリング設定を提供します。たとえば、異常値の動作を検出した場合、またはセッションが疑わしいアクティビティ状態に陥った場合、収集された統計からトラフィックを自動的に削除できます。

一方、GAを使用している場合は、フィルターを使用してボットトラフィックを検出し、分析データから除外する方法を決定するのはあなた次第です。参考までに、除外したい条件をいくつか示します。

訪問時間>120分
訪問時間<100ミリ秒
イベント数（コンバージョン、クリック、ターゲティング、商品、ページビューなど）> 10K

また、組織内から内部トラフィックを除外する必要があります。このSSOTデータセットを構築する際の目標は、同僚ではなく、実際の顧客に関する明確なデータソースを用意することです。

GAで内部トラフィックを除外するには、[管理]パネル> [すべてのフィルタ]に移動して、新しいフィルタを作成します。フィルタタイプを「未定義」に設定します。次に、除外する内部IP範囲を追加します。

5.広告ブロッカーを避ける

多くの訪問者は、Adblock、Ghostery、uBlockなどの広告ブロッカーを使用しています。一部のアドブロッカーは、実験ツールからの分析イベントなど、クライアント側のトラッカーをブロックすることもできます。

訪問者の大部分がブラウザで広告ブロッカーを有効にしている場合、記録される訪問数はA/Bテストツールと分析プラットフォームで異なる可能性があります。

行動を起こす方法

一部のプラットフォームでは、「オンプレミス」のトラッキングリクエストURLを提供して、広告ブロッカーによるブロックを回避できます。ここでは、追跡はサーバー側で行われるため、アドブロッカーなどからのクライアント側のコードブロックは、正当な追跡を停止しません。考えられるすべてのプラットフォームでアクティブ化します。

分析プラットフォームとテストプラットフォームの不一致をよりよく理解するもう1つの方法は、テストツールが読み込まれた後に分析プラットフォームにイベントを送信することです。これにより、A/Bテストツールをブロックする広告ブロッカーを使用している訪問者の割合を明確に把握できるはずです。次に、広告ブロッカーを使用して訪問者を除外するためにトラフィックをフィルタリングする必要があります。

6.同じページすべてにツールをインストールします

スニペットの配置は、特にサイト全体を対象とした実験を実行する場合に、データの不一致の一般的な根本原因です。その理由は、多くの実験ツールが「サイト全体」をそのコードスニペットを含むすべてのページとして扱うためです。残念ながら、スニペットがコピーされている場合は、ステージングサイトも含まれる可能性があります。

行動を起こす方法

まだ行っていない場合は、今がそのA/Aテストを実行してプラットフォームを調整する絶好の機会です。次に、すべてのツールが同じページに実装されていることを確認します。

そうでないかどうかを識別する1つの方法は、アクセスしたページのURLでデータを分類することです。これにより、テストが実行されたすべてのメインURLが表示されるため、テストツールが読み込まれていないはずのURLを特定できます。このオプションがKameleoonでどのように表示されるかを次に示します。

最終的な考え

慎重に分析した後、Kameleoonは、データの不一致があるクライアントがその最後の問題に遭遇したと判断しました。 GoogleAnalyticsとそのテストツールは同じページで実行されていませんでした。

GAは検索結果ページにアクセスするすべてのトラフィックを追跡しましたが、テストツールをより狭いパラメータで構成しました。実験では、検索バーで検索した後にのみアクセスページへのアクセスをカウントしました。

両方のページは同じように見えましたが、URLが異なっていたため、データに不一致が生じていました。ただし、解決されると、データをテストするための信頼できるSSOTが得られ、多くの貴重な洞察が得られました。

テストツールのすぐに使用できる設定が分析トラッキングと一致しない場所を認識することで、レポートする訪問者の数や、設定を使用して差異を最小限に抑える方法を決定できます。

不一致を排除し、信頼できる唯一の情報源を確立し、1つの共通データセットを中心にチームを結集します。 SSOTを確立することは、より優れた、より信頼性の高い、より洞察に満ちたテストへの第一歩です。