Best Practices zur Einrichtung einer Single Source of Truth (SSOT) für A/B-Tests

Ihre CX-Tests leben oder sterben von der Qualität Ihrer Daten. Aus fragwürdigen Daten lassen sich keine gültigen, überprüfbaren Hypothesen bilden. Und Sie können den Ergebnissen Ihrer Tests nicht vertrauen, wenn Sie nicht wissen, dass Sie auf genaue Metriken schauen.

Aus diesem Grund müssen Sie Ihr Testprogramm um einen SSOT-Datensatz (Single Source of Truth) herum aufbauen. Wenn Sie das nicht können, wird selbst der einfachste A/B-Test keinen Wert haben. Dieser Artikel untersucht, warum die Einrichtung eines SSOT so wichtig ist, und stellt einige der praxiserprobten Best Practices vor, die wir hier bei Kameleoon dafür entwickelt haben.

Was ist ein SSOT

Moderne Geschäftsentscheidungen müssen datengesteuert sein. Die Aufrechterhaltung eines SSOT bedeutet, dass Sie sich für CX-Experimente oder jede andere Funktion auf eine Datenquelle als endgültige „Wahrheit“ standardisieren, um die Sie die Arbeit dieses Teams führen und die Entscheidungen Ihres Unternehmens treffen.

Ohne SSOT riskieren Sie, dass Ihre Daten in Silos fragmentiert werden, die von verschiedenen Teams für verschiedene Funktionen bewacht werden. Es gibt keine Standardisierung, keinen Konsens und keine Möglichkeit festzustellen, ob jemand Entscheidungen auf der Grundlage der besten verfügbaren Informationen trifft.

Ein SSOT ist keine bestimmte Technologie oder ein bestimmtes System. Es ist eine Geschäftspraxis, die entwickelt wurde, um optimale Ergebnisse aus den Aktivitäten Ihres Teams zu erzielen. Einige Unternehmen haben Millionen gespart, indem sie auf eine SSOT-Datenstrategie umgestiegen sind, ohne auch nur die zugrunde liegende Arbeit zu berühren.

Studien haben gezeigt, dass qualitativ hochwertige Kennzahlen zum Kundenverhalten nach wie vor die gefragtesten Daten für strategische Entscheidungen sind. In der jährlichen CEO-Umfrage von PricewaterhouseCoopers bewerten CEOs dies seit mehreren Jahren als die wichtigste Kennzahl, die sie sich für die strategische Planung wünschen.

Was ist A/B-Testing?

A/B-Tests sind eine Methode zum Experimentieren mit Websites, mobilen Anwendungen oder Anzeigen, indem die Leistung einer Originalversion – der A- oder Kontrollversion – mit einer modifizierten B-Version verglichen wird. Ziel ist es, Leistungsdaten für jede zu sammeln, statistische Analysen durchzuführen und anhand der Daten zu bestimmen, welche Version die beste Leistung erbracht hat.
A/B-Tests eignen sich zum Testen von mehr als nur einzelnen Webseitenelementen. Sie können damit beispielsweise die Preisgestaltung optimieren, Produktfunktionen validieren und Websites für verschiedene Besuchersegmente personalisieren. Darüber hinaus bilden A/B-Tests die Grundlage für viele andere CX-Optimierungstechniken, darunter multivariate Tests, Produktempfehlungen und profilbasiertes Targeting.

Wer benötigt einen SSOT für seine Tests?

Experimentierteams schwimmen durch Daten, die in ihren Analyseplattformen, CRM, Testplattformen und mehr generiert wurden. Sie müssen eine SSOT zum Testen einrichten, um zu klären, was ihre Teams tun wollen. Betrachten wir ein Beispiel.

Einer der Kunden von Kameleoon hat eine Kampagne gestartet, um die Suchfunktion seiner Website zu optimieren. Sie führten serverseitige Tests durch, bei denen der Datenverkehr zu einer Zugriffsseite verfolgt wurde.

Aber sie stießen auf ein Problem, mit dem viele Experimentierprogramme konfrontiert sind: Die Daten in Google Analytics zeigten eine Anzahl von Seitenaufrufen und ihr Experimentiertool zeigte eine andere. Der Unterschied betrug über 9 Prozent.

Da es sich um eine E-Commerce-Website mit über einer Million Besuchern pro Monat handelt, machte die Entscheidung, welchem ​​Datensatz man vertrauen sollte, einen großen Unterschied in der KPI-Berichterstattung des Unternehmens. Während einige Mid- und Enterprise-Marken Unterschiede von bis zu 10 Prozent in den Besucherstatistiken ignorieren können, machte eine 9-prozentige Abweichung in den Daten das Experimentierteam dieses Unternehmens nervös.

Dieses Team hatte erst vor kurzem Buy-In für sein Experimentierprogramm erhalten, einschließlich eines Budgets, um in Tools wie Kameleoon zu investieren. Sie hofften auf Tests mit klaren Schlussfolgerungen. Stattdessen war die Genauigkeit ihrer Daten zweifelhaft. Sie mussten eine SSOT einrichten.

Wir haben diesem Unternehmen geholfen, sein Besucherdaten-Tracking zu bereinigen, ein SSOT einzurichten und die Testergebnisse zu erhalten, die es brauchte, um zu wachsen. Dazu haben wir ihnen geholfen, sieben Best Practices für SSOT zu übernehmen. Wir teilen diese Best Practices hier, weil jedes CX-Team, das seine Testdaten verarbeiten und das Beste aus seinem Experimentierprogramm herausholen möchte, diese nutzen kann, um zu wachsen.

Best Practices zur Beseitigung von Diskrepanzen bei Testdaten und zur Einrichtung eines SSOT

1. Bevor Sie irgendetwas anderes tun, führen Sie einen A/A-Test durch

Während ein A/B-Test eine alte mit einer neuen Version Ihres Produkts oder Ihrer Seite vergleicht, vergleicht ein A/A-Test Gleiches mit Gleichem. Warum würden Sie das tun wollen? So können Sie die von jeder Überwachungsplattform generierten Daten vergleichen.

Im A/A-Test sind beide Varianten gleich, aber Benutzer, die sie sehen, werden unterschiedlich sein:

Wie man vorgeht

Bevor Sie ernsthafte A/B-Tests durchführen oder eine neue Implementierung einführen, bei der Sie Daten sammeln möchten, führen Sie einen A/A-Test zur Kalibrierung durch. In einer perfekten Welt wird Ihr A/A-Test identische Ergebnisse liefern. In Wirklichkeit passiert das selten, aber Sie werden trotzdem lernen, mit wie viel Diskrepanz Sie es zu tun haben.

Wenn Sie beispielsweise einen A/A-Test durchführen, können Sie sehen, welche Messwerte Google Analytics im Vergleich zu Ihrem Testtool für dieselben Sitzungen, Benutzer, Besuche, Conversions oder andere Messwerte erhält, die Sie messen möchten.

2. Verfolgen Sie Besucher und Besuche in allen Ihren Tools auf die gleiche Weise

Die Anzahl der Besucher oder Besuche, die von Ihren Analysetools erfasst werden, stimmt niemals genau mit den Benutzern und Sitzungen überein. Sie können jedoch sicherstellen, dass Besuche in Ihren Analyse- und A/B-Plattformen auf die gleiche Weise gezählt werden, um die Diskrepanz zu verringern.

In Google Analytics gibt es zwei Möglichkeiten, wie ein Besuch endet:

• Zeitbasierter Ablauf: Hier läuft die Sitzung nach 30 Minuten Inaktivität oder um Mitternacht ab. Während es beispielsweise bei Kameleoon nach 30 Minuten Inaktivität der Fall ist.

• Kampagnenwechsel : Wenn derselbe Besucher über eine Kampagne kommt, nach 2 Minuten geht und dann 2 Minuten später über eine andere Kampagne zurückkommt, zählt Google Analytics zwei Besuche. Einige A/B-Testing-Tools sehen dies als eins an.

Wie man vorgeht

Überprüfen Sie, wie Besucher und Besuche in Ihrem Analysetool gezählt werden, und stellen Sie sicher, dass dies auch für Ihr Testtool gilt. Oder dass du es ändern kannst. Bei Kameleoon empfehlen wir, Ihre Analyseplattform als Single Source of Truth zu verwenden.

In GA können Sie unter Sitzungseinstellungen bearbeiten, wie lange Sitzungen und Kampagnen ablaufen.

Wieso den? SSOTs sollten auf Organisationsebene definiert werden. Selbst wenn Ihr Testteam den ganzen Tag mit Daten in Ihrer Testplattform arbeitet, müssen andere Teams möglicherweise dennoch für andere Zwecke auf Daten aus GA verweisen. Legen Sie SSOT als den Datensatz fest, auf den von den meisten Teams Ihrer Organisation verwiesen wird.

3. Erstellen Sie Browser- und Versionsfilter in Ihrem Analysetool

Viele A/B-Testplattformen laufen nicht im Internet Explorer, daher werden alle Besuche in diesem Browser automatisch aus Testberichten ausgeschlossen. Aber IE könnte immer noch eine Datendiskrepanz verursachen, wenn Sie es auf große, alte Organisationen abzielen, die es verwenden.

Ein weiteres potenzielles Tracking-Problem besteht darin, dass Google Analytics mit allen Browserversionen kompatibel ist, während A/B-Testtools normalerweise nur mit den letzten Versionen vollständig kompatibel sind.

Wie man vorgeht

Erstellen Sie in Google Analytics benutzerdefinierte Filter basierend auf den Browsern und Browserversionen, die Ihnen wichtig sind, damit alle Plattformen übereinstimmen. Das machst du in

So würden Sie beispielsweise unter Ansicht eine ältere Version von Google Chrome ausschließen:

4. Filtern Sie problematischen Datenverkehr in all Ihren Tools

Halten Sie Ihren SSOT-Datensatz so sauber wie möglich, indem Sie nur Daten von legitimen Zuschauern sammeln. Sie möchten Ihre Daten nicht mit Bot-, Troll-, Tracker-Bugs oder anderem Ausreißerverkehr verunreinigen. Machen Sie sich keine Sorgen über Volumenverluste, die Qualität Ihrer Ergebnisse wird steigen.

Wie man vorgeht

Fortgeschrittene A/B-Testtools bieten mehrere Bot-Filtereinstellungen, die sofort einsatzbereit sind. Beispielsweise können sie den Datenverkehr automatisch aus gesammelten Statistiken entfernen, wenn sie Ausreißerverhalten erkennen oder wenn die Sitzung in einen verdächtigen Aktivitätszustand gerät.

Wenn Sie hingegen GA verwenden, liegt es an Ihnen zu entscheiden, wie Sie Bot-Traffic mithilfe von Filtern aus Ihren Analysedaten erkennen und ausschließen. Als Referenz finden Sie hier einige Bedingungen, die Sie möglicherweise ausschließen möchten.

• Besuchsdauer > 120 Minuten
• Besuchsdauer < 100 Millisekunden
• Anzahl der Ereignisse (Conversions, Klicks, Targeting, Produkt, Seitenaufruf usw.) > 10.000

Sie möchten auch internen Datenverkehr innerhalb Ihrer Organisation ausschließen. Denken Sie daran, dass das Ziel beim Erstellen dieses SSOT-Datensatzes darin besteht, eine definitive Datenquelle über Ihre tatsächlichen Kunden zu haben, nicht über Ihre Kollegen.

Um den internen Datenverkehr in GA herauszufiltern, gehen Sie zum Admin-Bereich > Alle Filter und erstellen Sie einen neuen Filter. Setzen Sie den Filtertyp auf „undefiniert“. Fügen Sie dann die internen IP-Bereiche hinzu, die Sie ausschließen möchten.

5. Vermeiden Sie Werbeblocker

Viele Besucher verwenden Werbeblocker wie Adblock, Ghostery und uBlock. Einige Werbeblocker können auch clientseitige Tracker blockieren, einschließlich Analyseereignisse von Experimentiertools.

Wenn ein erheblicher Teil Ihrer Besucher Werbeblocker in ihrem Browser aktiviert hat, besteht eine hohe Wahrscheinlichkeit, dass die Anzahl der aufgezeichneten Besuche zwischen Ihrem A/B-Testtool und Ihrer Analyseplattform variiert.

Wie man vorgeht

Einige Plattformen können „lokale“ Tracking-Anfrage-URLs bereitstellen, mit denen sie vermeiden können, von Werbeblockern blockiert zu werden. Hier erfolgt das Tracking serverseitig, sodass die clientseitige Codeblockierung, z. B. von einem Werbeblocker, das legitime Tracking nicht stoppt. Aktivieren Sie es auf allen möglichen Plattformen.

Eine weitere Möglichkeit, die Diskrepanz zwischen Ihren Analyse- und Testplattformen besser zu verstehen, besteht darin, ein Ereignis an Ihre Analyseplattform zu senden, nachdem Ihr Testtool geladen wurde. Das sollte Ihnen eine klare Vorstellung vom Prozentsatz der Besucher geben, die Werbeblocker verwenden, die Ihr A/B-Testtool blockieren. Dann müssen Sie Ihren Datenverkehr filtern, um Besucher mit Werbeblockern auszuschließen.

6. Installieren Sie Ihre Tools auf allen Seiten

Die Snippet-Platzierung ist eine häufige Ursache für Datenabweichungen, insbesondere wenn Sie einen Test durchführen möchten, der auf eine gesamte Website abzielt. Der Grund dafür ist, dass viele Experimentier-Tools die „gesamte Website“ als alle Seiten behandeln, die ihr Code-Snippet enthalten. Leider könnte dies sogar Ihre Staging-Site umfassen, wenn Sie dort Snippets kopiert haben.

Wie man vorgeht

Wenn Sie es noch nicht getan haben, ist jetzt ein guter Zeitpunkt, um diesen A/A-Test durchzuführen, um Ihre Plattformen zu kalibrieren. Stellen Sie dann sicher, dass alle Ihre Tools auf denselben Seiten implementiert sind.

Eine Möglichkeit, festzustellen, ob dies nicht der Fall ist, besteht darin, Ihre Daten nach URLs der besuchten Seiten aufzuschlüsseln. Dadurch werden Ihnen alle Haupt-URLs angezeigt, auf denen der Test ausgeführt wurde, sodass Sie diejenigen identifizieren können, bei denen Ihr Testtool nicht geladen werden sollte. So sieht diese Option in Kameleoon aus:

Abschließende Gedanken

Nach sorgfältiger Analyse stellte Kameleoon fest, dass der Kunde mit einer Datenabweichung auf dieses letzte Problem gestoßen war. Google Analytics und sein Testtool wurden nicht auf denselben Seiten ausgeführt.

Während GA den gesamten Datenverkehr zu ihrer Suchergebnisseite verfolgte, konfigurierten sie ihr Testtool mit einem engeren Parameter – das Experiment zählte Besuche auf der Zugriffsseite nur nach einer Suche in der Suchleiste.

Obwohl beide Seiten gleich aussahen, waren die URLs unterschiedlich, was zu einer Datendiskrepanz führte. Sobald sie jedoch gelöst waren, hatten sie einen zuverlässigen SSOT zum Testen von Daten und sollten viele wertvolle Erkenntnisse generieren.

Indem Sie erkennen, wo die Standardeinstellungen in Ihrem Testtool nicht mit Ihrem Analytics-Tracking übereinstimmen, können Sie entscheiden, welche Anzahl von Besuchern gemeldet werden oder wie Sie Ihre Einstellungen verwenden, um den Unterschied zu minimieren.

Eliminieren Sie Diskrepanzen, richten Sie eine Single Source of Truth ein und versammeln Sie Ihre Teams um einen gemeinsamen Datensatz. Die Einrichtung eines SSOT ist der erste Schritt zu besseren, zuverlässigeren und aufschlussreicheren Tests.