Mobile A/B-Tests: 7 große Fehler und Missverständnisse, die Sie vermeiden müssen

Es ist kein Geheimnis, dass das Marketing insgesamt weitgehend auf Daten beruht. Gleiches gilt für Mobile Marketing und Nutzerakquise. In diesem Bereich kann die Auswahl der richtigen Produktseitenelemente für den App Store und Google Play den Erfolg einer App oder eines mobilen Spiels entscheidend beeinflussen. Mobiles A/B-Testing ist ein Tool, das dabei hilft, diese Entscheidung auf der Grundlage von Daten zu treffen.

Wie oft haben wir jedoch das Argument gehört, dass A/B-Tests nicht die gewünschten Ergebnisse bringen oder dass jemand nicht sicher ist, ob er mobile Experimente richtig durchführt? Dies geschieht häufig aufgrund einiger häufiger Fehler und Fehlinterpretationen von Daten. In diesem Beitrag werde ich die größten Fehler und irreführenden Schlussfolgerungen beim A/B-Testen mobiler Apps behandeln, deren Kenntnis Ihnen zum Erfolg verhelfen wird.

1. Beenden Sie ein Experiment, bevor Sie die richtige Menge an Traffic erhalten

Dies ist einer der häufigsten Fehler beim mobilen A/B-Testing. Falls Sie ein Anhänger des klassischen A/B-Tests sind, besteht die Gefahr, dass Sie statistisch unzuverlässige Ergebnisse erhalten, wenn Sie ein Experiment beenden, bevor Sie die erforderliche Menge an Traffic – die Stichprobengröße – erhalten .

Um zuverlässige Beweise zu erhalten, müssen Sie warten, bis die erforderliche Menge an Datenverkehr sowohl für die A- als auch für die B-Variante erreicht ist.

Wer eine Alternative zur klassischen Variante sucht, greift zum sequentiellen A/B-Testing. Sie müssen mit der Angabe der Baseline-Konversionsrate (Konversionsrate Ihrer aktuellen Variation), der statistischen Power (80 % standardmäßig), des Signifikanzniveaus und des minimal nachweisbaren Effekts (MDE) beginnen – dies hilft Ihnen bei der Bestimmung der Stichprobengröße.

Das Signifikanzniveau beträgt standardmäßig 5 %, was bedeutet, dass die Fehlerspanne 5 % nicht überschreiten wird. Sie können diesen Wert zusammen mit der MDE anpassen – dem minimalen erwarteten Anstieg der Conversion-Rate, den Sie sehen möchten . Hinweis: Ändern Sie das Signifikanzniveau, die MDE oder die statistische Trennschärfe nicht, nachdem Sie ein Experiment gestartet haben.

Beim sequentiellen A/B-Test überprüft der Algorithmus ständig Ihre Variationen des Signifikanzniveaus und die Menge des verbleibenden Traffics bis zum Abschluss des Experiments. So funktioniert es auf unserer SplitMetrics A/B-Testplattform.

Lektion gelernt: Wenn Sie klassische A/B-Tests durchführen, beenden Sie ein Experiment erst, wenn die richtige Menge an Traffic erreicht ist. Oder versuchen Sie es mit sequenziellen A/B-Tests, und Sie können die Ergebnisse jederzeit überprüfen.

2. Beenden eines Experiments vor Ablauf von 7 Tagen

Warum muss man mindestens sieben Tage warten? Nun, verschiedene Apps und mobile Spiele erleben an verschiedenen Tagen der Woche Aktivitätsspitzen . Zum Beispiel beobachten Business-Apps montags die Aktivität, während Spiele am Wochenende bei den Nutzern am beliebtesten sind.

Um zuverlässige Ergebnisse aus mobilen A/B-Tests zu erhalten, sollten Sie die Spitzentage Ihrer App während eines Tests erfassen. Andernfalls laufen Sie Gefahr, voreilige Schlüsse zu ziehen.

Sie führen beispielsweise Tests für eine Aufgabenverwaltungs-App durch. Sie beginnen ein Experiment am Mittwoch und beenden es am Samstag. Der Großteil Ihrer Zielgruppe nutzt Ihre App jedoch montags, sodass Sie den Punkt einfach verpassen, da der Aktivitätsschub noch nicht in die Testphase eingetreten ist. Oder umgekehrt, Sie haben von Freitag bis Sonntag A/B-Tests für Ihr Rennspiel durchgeführt: an den Spitzentagen des Spiels. Auch in diesem Fall werden die Ergebnisse unzureichend sein.

Also, selbst wenn Sie den Fehler Nummer eins vermieden haben und bereits am ersten Tag die erforderliche Menge an Zugriffen erhalten haben, beenden Sie den Test nicht, bevor sieben Tage vergangen sind.

Lektion gelernt: Beenden Sie ein Experiment aufgrund schwacher Aktivitätsspitzen, die für jedes mobile Spiel oder jede App unterschiedlich sind, nicht, bevor der vollständige (siebentägige) Zyklus abgelaufen ist.

3. Testen von zu kleinen Änderungen im Design

Ein weiterer häufiger Fehler beim mobilen A/B-Testen ist der Vergleich von Varianten, die aufgrund geringfügiger Unterschiede im Design fast gleich aussehen.

Wenn der einzige Unterschied zwischen den von Ihnen getesteten mobilen App-Symbolen eine blaue Hintergrundfarbe anstelle des hellblauen ist oder Sie einer anderen Screenshot-Variante ein winziges Detail hinzugefügt haben, sind Sie definitiv in Schwierigkeiten. Benutzer bemerken solche kleinen Änderungen einfach nicht.

In diesem Fall zeigen beide Varianten das gleiche Ergebnis, und das ist völlig normal. Wenn Sie also jemals versucht haben, die A/B-Tests im App Store durchzuführen, sie dann aber aufgegeben haben, da Variationen gleich gut abschneiden, ist es an der Zeit, darüber nachzudenken, was schief gelaufen ist. Vielleicht sahen deine Variationen ziemlich gleich aus.

Um sicherzustellen, dass Sie eine signifikante Änderung A/B-Tests durchführen, zeigen Sie Ihrer Familie oder Ihren Freunden beide Versionen. Lassen Sie Ihren Kollegen jede Variation 3-5 Sekunden lang betrachten. Wenn sie den Unterschied nicht kennen, sollten Sie Ihre visuellen Assets besser neu gestalten.

Lektion gelernt: Wenn Sie Varianten mit zu kleinen Designänderungen testen, sollten Sie damit rechnen, dass sie das gleiche Ergebnis zeigen. Solche Änderungen sind für Benutzer zu unwesentlich, daher ist es besser, App-Icons und Screenshots zu testen, die sich deutlich voneinander unterscheiden.

4. Ihre Werbebanner haben das gleiche Design wie eines der visuellen Elemente des App Stores

Wenn Sie ein mobiles A/B-Testtool eines Drittanbieters wie beispielsweise SplitMetrics verwenden, kaufen Sie Traffic und platzieren Banner in Werbenetzwerken. Der Punkt ist, dass ein solches Banner nicht wie eines der visuellen Assets aussehen sollte, die Sie testen , sei es ein Screenshot oder dieselben Elemente auf einem Symbol.

Sie führen beispielsweise Experimente für Ihre Bildungs-App durch. Sie entwerfen ein Banner, das das gleiche Element hat, wie das Icon aus der Variante A, während die Variante B ein komplett anderes Icon ist. Variante A zeigt die höhere Conversion-Rate, da sie das gleiche Design hat, wie es die Bannernutzer ursprünglich gesehen und angeklickt haben.

Studien zeigen, dass das Gehirn Informationen schneller verarbeitet, wenn Menschen etwas wiederholt sehen, was ihnen ein Gefühl der Zuneigung verleiht. Hier können Sie mehr darüber lesen. Benutzer neigen daher dazu, unbewusst auf die bereits bekannten Bilder zu tippen.

Lektion gelernt: Wenn Sie an Werbebannern arbeiten, sollten Sie das Design so neutral wie möglich gestalten. Das Bannerdesign sollte nicht mit dem Design des Symbols oder der Screenshot-Variationen Ihrer App übereinstimmen.

5. Mehrere Hypothesen gleichzeitig testen

Es macht keinen Sinn, mehrere Änderungen vorzunehmen und sie innerhalb desselben Experiments zu testen. Einige Mobile-Marketer ziehen nach einem Test die falschen Schlüsse, da sie mehrere Änderungen vorgenommen haben und tatsächlich nicht wissen, was genau das Ergebnis beeinflusst hat.

Wenn Sie sich entschieden haben, die Farbe der Screenshots Ihrer App Store-Produktseite zu ändern, erstellen Sie eine oder mehrere Variationen mit einer anderen Hintergrundfarbe und führen Sie einen Test durch. Ändern Sie nicht gleichzeitig Farbe, Reihenfolge und Text auf den Screenshots. Andernfalls sehen Sie die Gewinnervariante (es sei die Variante B) und Sie haben keine Ahnung, ob die Farbänderung tatsächlich funktioniert hat.

Lektion gelernt: Wenn Sie mehrere Hypothesen gleichzeitig testen, können Sie nicht verstehen, welche davon richtig ist.

6. Die Situation falsch interpretieren, wenn zwei Varianten gleich sind, aber Sie einen Gewinner erhalten

Wenn Sie A/A-Tests ausführen, könnten Sie verwirrt sein, wenn ein A/B-Testtool die Gewinnervariante zwischen zwei identischen Assets anzeigt. Dies ist insbesondere bei dem im Google Play Store integrierten Tool zum Ausführen von Experimenten üblich.

Auf der SplitMetrics-Plattform sehen Sie in einem solchen Fall auf dem Signifikanzniveau von 5%, dass das Ergebnis unbedeutend ist.

Kleine Unterschiede zwischen zwei exakt gleichen Variationen sind reiner Zufall. Verschiedene Benutzer reagierten etwas unterschiedlich. Es ist wie beim Werfen einer Münze: Es besteht eine 50-50-Chance, dass Sie Kopf oder Zahl bekommen, und es besteht eine 50-50-Chance, dass eine der Varianten ein besseres Ergebnis zeigt.

Um in einer solchen Situation ein statistisch signifikantes Ergebnis zu erhalten, sollten Sie Ergebnisse von absolut allen Benutzern erhalten, was unmöglich ist.

Gelernte Lektionen: Wenn Sie beim Testen identischer Assets die Gewinnervariante erhalten, ist an Ihrem A/B-Testtool nichts auszusetzen, es ist nur ein Zufall. Bei sequenziellen A/B-Tests werden Sie jedoch feststellen, dass das Ergebnis unbedeutend ist.

7. Aufregen, wenn eine neue Variante gegen die aktuelle verliert

Einige Mobile Marketer und Manager für die Nutzerakquise sind enttäuscht, wenn ein Experiment zeigt, dass die aktuelle Variante gewinnt, was sie nicht erwartet hatten, und beginnen, ein Budget für mehr bezahlten Traffic zu verschwenden, in der Hoffnung, dass die neue Variante schließlich gewinnt.

Es gibt keinen Grund, sich schlecht zu fühlen, wenn Ihre Hypothese nicht bestätigt wurde. Hätten Sie ohne Test etwas an Ihrer App-Store-Produktseite geändert, hätten Sie einen Teil Ihrer potenziellen Kunden und damit auch Geld verloren. Gleichzeitig haben Sie, nachdem Sie Geld für dieses Experiment ausgegeben haben, für das Wissen bezahlt . Jetzt wissen Sie, was für Ihre App funktioniert und was nicht.

Lektion gelernt: Alles passiert aus einem bestimmten Grund und Sie sollten es nicht bereuen, wenn Ihr A/B-Test Ihre Hypothese nicht bestätigt hat. Sie haben jetzt eine klare Vorstellung davon, welche Assets für Ihr Spiel oder Ihre App am besten funktionieren.