9 A/B-Testfehler, die Sie nicht mehr machen müssen

Fehler sind ein unvermeidlicher Teil des Lernprozesses, aber wenn sie Ihr Unternehmen Geld kosten, stechen sie eher ein wenig mehr.

Während sich Vermarkter aller Erfahrungsstufen einig sind – es gibt keine zuverlässigere Methode zur Verbesserung von Webseiten, E-Mails und Anzeigen als durch A/B-Tests – um effektiv zu sein, müssen diese A/B-Tests richtig durchgeführt werden. Die unglückliche Wahrheit ist, dass es nur wenige sind.

A/B-Testfehler, die Sie wahrscheinlich machen werden

Es ist sehr wahrscheinlich, dass Sie irgendwann Ressourcen durch falsche A/B-Tests verschwendet haben. Vielleicht haben Sie etwas Unwichtiges getestet oder unwissentlich Geschäftsentscheidungen aufgrund falscher Ergebnisse getroffen. Was auch immer es war, du bist nicht allein.

Sowohl Marketing-Neulinge als auch Veteranen machen immer noch die folgenden 9 A/B-Testfehler. Wenn Sie einige von ihnen erkennen, großartig. Sie haben eine Vorstellung davon, was Sie vermeiden sollten. Wenn nicht, umso besser. Am Ende dieses Beitrags stellen Sie möglicherweise fest, dass wir Ihre nächste Kampagne gespeichert haben.

1. Testen ohne Grund

Wenn Sie in Ihrem Büro sitzen und sich fragen „Was soll ich als nächstes testen?“, sind Sie bereits zum Scheitern verurteilt. Sie sollten einen datengestützten Grund haben, jeden Test durchzuführen. Stattdessen sollten Sie sich fragen: "Warum teste ich X?"

Testen Sie zum Beispiel die Größe einer Schaltfläche nicht nur zum Teufel mit A/B. Wenn durch Wärme - Mapping - Software entdecken Sie , dass die Aussichten sind nicht die Aufmerksamkeit auf sie zu bezahlen, dann A / B - Test , um zu sehen , ob ein prominenteren eines Aufzug produziert. Bilden Sie danach eine fundierte Hypothese, die in etwa so aussieht:

„Mit der Heatmap-Software habe ich festgestellt, dass mein Call-to-Action-Button nicht die Aufmerksamkeit erregt, die er sollte. Aus diesem Grund glaube ich, dass eine Vergrößerung des Buttons ihn auffälliger macht.“

Entscheiden Sie als Nächstes, wie Sie das Ergebnis messen. Für einen Test wie diesen könnten neue Heatmap-Daten zeigen, ob Besucher ihm mehr Aufmerksamkeit schenken oder nicht. Mehr Click-Throughs könnten auch auf eine größere Anziehungskraft hindeuten.

Wiederholen Sie diesen Vorgang, bis Sie eine Lösung für das Problem gefunden haben, das Ihren Test überhaupt erst beflügelt hat. Verwenden Sie dann den Prozess, um andere Marketingaktivitäten für Ihr Unternehmen zu optimieren.

2. Testen von mehr als einem Element

Die Daten könnten darauf hindeuten, dass Ihre Seite eine neue Überschrift und ein Formularfeld weniger verwenden könnte, aber das gleichzeitige Testen beider führt zu einer ganzen Menge Daten, die schwer zu interpretieren sind. Dies ist kein A/B-Test, sondern ein „multivariater Test“, und es ist viel schwieriger, ihn richtig zu machen. Hier ist der Grund…

In einem A/B-Test bestimmen Sie die Effektivität eines Elements im Vergleich zu einem anderen – zum Beispiel ein roter Knopf im Vergleich zu einem schwarzen Knopf:

Hier gewinnt die Seite, die basierend auf Ihrer Erfolgskennzahl besser abschneidet. Wenn Ihre Erfolgskennzahl Conversions ist und die Seite mit dem roten Button mehr produziert, funktioniert der rote Button besser. Bei einem multivariaten Test wird es etwas komplizierter.

Schauen wir uns dieses zweite Beispiel aus Optimizely eines theoretischen multivariaten Tests an, bei dem zwei Elemente, Bild und Überschrift, ausgewertet werden:

Wie Sie oben sehen können, führt das Testen nur eines weiteren Elements gegen eine Variation zu doppelten Ergebnissen. Die Ergebnisse dieses Tests sind nicht so eindeutig.

Wenn Sie Traffic auf die vier verschiedenen oben genannten Seiten leiten und Ihre Erfolgskennzahl Conversions sind, ist diejenige der Gewinner, die am meisten produziert. Anders als bei einem A/B-Test ist es jedoch nicht so einfach festzustellen, warum diese Seite gewonnen hat.

Wenn beispielsweise ein Variationstitel in einem A/B-Test mehr Conversions erzeugt als ein Kontrolltitel, ist der Variationstitel besser, wenn der Test korrekt durchgeführt wurde. Da dies der einzige Unterschied zwischen den beiden Seiten ist, wissen Sie definitiv, dass die Überschrift der Grund für die Leistungssteigerung ist.

In einem multivariaten Test müssen Sie jedoch nicht nur feststellen, welche Kombination von Elementen die meisten Conversions erzeugt, sondern auch die Beziehung zwischen diesen Elementen. Unabhängig davon, welche Kombination im Headline/Image-Beispiel von Optimizely gewinnt, muss sich der Tester die Frage stellen: „Wie interagieren diese Elemente miteinander, um maximale Conversions zu erzielen?“

Waren beide Seiten mit der Überschrift „The One And Only Acme Widgets“ besser als die anderen? Es ist möglich, dass die Schlagzeile am meisten für die Aufhebung verantwortlich war. Warum hat das Foto der Ausrüstung unter diesen beiden mehr Umwandlungen bewirkt?

Dies sind Fragen, auf die Sie durch eingehende Recherchen in Ihren Daten Antworten finden müssen. Darüber hinaus benötigen Sie viel mehr Datenverkehr, um diese Daten zu erhalten.

Eine gute Faustregel ist? Alex Birkett von CXL empfiehlt Ihnen, sich an A/B-Tests zu halten, wenn Sie nicht viel Verkehr haben.

3. Verbringen Sie Ihre ganze Zeit mit A/B-Tests

Es ist leicht, A/B-Tests zu verblinden – so lange nach der perfekten Kombination von Elementen auf Ihrer Post-Click-Landingpage (oder Anzeige, E-Mail) suchen zu müssen, dass Sie jeden anderen Teil Ihrer Kampagne vernachlässigen. Lass dir das nicht passieren.

Der Grund, warum Nutzer nicht konvertieren, liegt nicht immer daran, dass Ihre Post-Click-Zielseite nicht gut zusammengestellt ist. Es könnte sein, dass Ihr Traffic schwach ist oder Ihre Lead-Nurturing-Kampagne nicht stark ist.

Verschwenden Sie nicht Ihre ganze Zeit mit A/B-Tests von Post-Click-Landingpage-Images und Anzeigentexten. Denken Sie daran, ein großes Ganzes zu denken und optimieren Sie zuerst die größten Löcher in Ihrem Trichter. Hier werden Sie die größten Gewinne sehen. Beginnen Sie dann mit der Perfektionierung des Prozesses durch A/B-Tests.

4. Befolgen Sie blind die Best Practices für A/B-Tests

Wie sich herausstellt, sind Best Practices nicht immer für alle die besten. Was für ein Unternehmen gut funktioniert hat, funktioniert möglicherweise nicht gut für Ihres. Fallbeispiel:

Vor einigen Jahren machte sich der Datenaggregator Device Magic auf den Weg, um herauszufinden, ob ein Image-Slider oder ein Video mehr Interessenten auf seiner Homepage konvertieren würde. Also führten sie einen A/B-Test durch.

Aber warum sollten sie?

Zahlreiche Studien haben bereits gezeigt, dass Bild-Slider Bannerblindheit verursachen, manchmal schwer zu erkennen sind und selten angeklickt werden. Darüber hinaus hat eine Menge Forschung die Konvertierungsleistung von Videos bewiesen. Einige Unternehmen haben eine Steigerung der Conversion-Rate von bis zu 80 % verzeichnet. Dies sollte ein Kinderspiel sein. Video zum Sieg, oder?

Nicht so, sagten die Ergebnisse des A/B-Tests von Device Magic. Hier ist ihre Kontrollvideo-Homepage:

Und hier ist die Startseite des Variationsschiebereglers:

Die Variante mit Schieberegler führte zu einer Steigerung der Conversions um 35 %.

Das Device Magic-Team hat aus diesem Test zwei wertvolle Dinge gelernt. Erstens: Vertrauen Sie Best Practices nicht von ganzem Herzen und zweitens: Machen Sie nicht den folgenden Fehler…

5. Einen Test zu früh beenden

So funktioniert es normalerweise: Ein Tester erreicht eine seiner Meinung nach beträchtliche Anzahl von Besuchern, um zu beweisen, dass eine Seitenvariation besser ist als eine Kontrolle oder umgekehrt. Sie stoppen bei 100 oder 1.000 und erklären dann einen Gewinner.

Das hat das Team von Device Magic getan, schreibt Paras Chopra in einem Blogbeitrag für VWO:

Anfangs übertraf ihre Kontrolle (mit Video) die Variation (mit Bildschieberegler) und sie konnten nicht verstehen, warum. Aber dann ließen sie den Test noch eine Weile laufen, bis sie viel mehr Daten hatten – zu ihrer Überraschung änderte sich das Ergebnis zu einer Variation, die die Kontrolle übertraf, was sie erwartet hatten. Und dieses Ergebnis war statistisch signifikant.

Die Verwendung einer zu kleinen Stichprobengröße ist nur ein Fehler, der zu einem so genannten „Falsch-Positiv“ führen kann – einem nicht eindeutigen Testergebnis, das als aussagekräftig getarnt wird. Im Test von Device Magic war das falsch positiv, dass ihre Homepage mit einem Video effektiver war als mit einem Slider, auch wenn dies auf Dauer nicht der Fall war. Es beweist, dass Sie ohne genügend Besucher auf den Seiten, die Sie A/B-Tests durchführen, nicht über genügend Daten verfügen, um sicher Rückschlüsse aus Ihren Ergebnissen zu ziehen.

Hier ist ein viel einfacheres Beispiel von Benny Blum, wie ein falsch positives Ergebnis bei einer kleinen Stichprobe aussehen könnte:

Betrachten Sie die Nullhypothese: Hunde sind größer als Katzen. Wenn ich eine Stichprobe von einem Hund und einer Katze verwende – zum Beispiel einem Havaneser und einem Löwen – würde ich schlussfolgern, dass meine Hypothese falsch ist und dass Katzen größer sind als Hunde. Wenn ich jedoch eine größere Stichprobengröße mit einer Vielzahl von Katzen und Hunden verwenden würde, würde sich die Größenverteilung normalisieren, und ich würde schlussfolgern, dass Hunde im Durchschnitt größer sind als Katzen.

Wie bekämpfen Sie also falsch positive Ergebnisse, die mit einer zu kleinen Stichprobengröße einhergehen? Durch ernsthafte Mathematik finden Sie einen, der groß genug ist, oder Sie können raffinierte Taschenrechner wie diesen von Optimizely verwenden.

Wichtig ist hierbei, dass es keine festgelegte Zeit oder Anzahl von Besuchern gibt, die Sie generieren können, um sich über die Ergebnisse eines A/B-Tests absolut sicher zu sein. CRO-Guru Peep Laja beschreibt eine Zeit, als seine Software seine Variante zum Verlierer erklärte:

Die von mir erstellte Variation verlor schlecht – um mehr als 89% (und keine Überschneidung der Fehlerquote). Einige Tools würden es bereits nennen und sagen, die statistische Signifikanz sei 100 %. Die von mir verwendete Software sagte, dass Variation 1 eine Chance von 0% hat, Control zu schlagen. Mein Klient war bereit, es zu beenden. Da die Stichprobengröße hier jedoch zu klein war (nur etwas über 100 Besuche pro Variante) habe ich darauf bestanden und so sah es 10 Tage später aus.

Die Variante, die eine Chance von 0 % hatte, die Kontrolle zu schlagen, gewann jetzt mit 95-prozentiger Sicherheit.“

Je länger Ihre Testläufe dauern und je mehr Besucher Sie bekommen, desto „sicherer“ können Sie ein Ergebnis sein, auch wenn Sie es nie ganz erreichen können.

6. Testen von Elementen zu verschiedenen Zeiten

Es kann vorkommen, dass ein Test zu früh beendet wird, auch wenn Sie die statistische Signifikanz erreicht haben. Angenommen, Ihre Website generiert genügend Besucher, um mit 15.000 Besuchern auf jeder Seite über das Wochenende eine statistische Signifikanz zu erreichen. Es ist immer noch nicht an der Zeit, Ihr Experiment aufzurufen.

Es überrascht nicht, dass Wochentage einen ernsthaften Einfluss auf Traffic und Conversions haben. Wenn Sie Ihren Test am Samstag beginnen, sollten Sie ihn am folgenden Samstag beenden, um die Wahrscheinlichkeit zu verringern, dass die Ergebnisse an ein oder zwei Tagen verzerrt werden, selbst wenn Sie bereits eine statistische Signifikanz erreicht haben. Die Zielgruppe, die Ihre Website am Wochenende besucht, kann sich stark von derjenigen unterscheiden, die sie unter der Woche besucht, und dies kann sich auf Ihre Testergebnisse auswirken.

7. Störvariablen nicht eliminieren

Störvariablen sind genau das, wonach sie klingen – Variablen in Ihrem A/B-Test, die die Ergebnisse verfälschen. Wenn Sie sie nicht identifizieren, riskieren Sie die Gültigkeit Ihrer Daten. Hier ist ein Beispiel von Optimize Smart, wie Störvariablen in Ihren Tests aussehen könnten:

Wenn Sie beispielsweise Ihr Anzeigen-Targeting ändern, um während eines Tests andere Zugriffe als Ihre Variante zu generieren, ändern Sie das Ergebnis, indem Sie die Personen ändern, die auf Ihrer Seite landen. Als völlig andere demografische Gruppe sind diese Personen möglicherweise empfänglicher für Ihre Überschrift oder Ihr Bild.

Denken Sie daran, dass alle Dinge außer dem zu bewertenden Element gleich sein sollten und während der gesamten A/B-Tests gleich bleiben . Auf diese Weise können Sie sicher sein, dass der Leistungsunterschied auf das zu testende Element zurückzuführen ist.

8. Elemente testen, die keinen Auftrieb bringen

Ja, Farbe spielt in Ihrem Marketing eine Rolle, aber müssen Sie wirklich alle 41 Blautöne testen, wie es Google vor einigen Jahren getan hat, um festzustellen, welche die größte Auswirkung auf die Leistung hat?

Absolut nicht.

Verschwenden Sie keine Zeit mit frivolen A/B-Tests wie diesem. Google hat die Ressourcen dafür (nicht, dass wir glauben, dass sie sie so hätten verwenden sollen), Sie nicht. Verschwenden Sie keine Zeit damit, Dinge zu testen, die, wenn überhaupt, eine minimale Leistungssteigerung bringen.

9. Aufgeben nach einem Test

Angenommen, Sie haben das empfohlene Bild Ihrer Seite einem A/B-Test unterzogen und dabei eine nachhaltige Conversion-Steigerung von 10 % erzielt. Herzliche Glückwünsche! Das ist großartig – aber bedeutet das, dass Sie das beste Image haben? Nö. Es bedeutet, dass Sie ein besseres Image haben als zuvor.

Hätten wir das Testen dieser Webinar-Post-Click-Landingpage aufgegeben und wären mit einer 45 %igen Steigerung der Conversion-Rate von Variante "B" zufrieden, hätten wir nie den erstaunlichen Schub erlebt, den wir von Variante "C" erhalten haben.

Hier ist das Original:

Hier ist die Variante "B", die eine Steigerung der Conversions um 45 % bewirkte:

Und schließlich ist hier die Variante „C“, die die Conversions um schockierende 129 % steigerte!

Wenn Ihre Tests zunächst nicht erfolgreich sind, versuchen Sie es erneut. Und selbst wenn sie erfolgreich sind, versuchen Sie es noch einmal, um noch bessere Ergebnisse zu erzielen. Beginnen Sie jedoch zunächst mit der Erstellung personalisierter Post-Click-Seiten mit Instpage. Fordern Sie noch heute eine Instapage Enterprise-Demo an.