Was sind A/A-Tests und warum sollten sich Marketer darum kümmern?

Haben Sie dieses Szenario durchgemacht? Sie richten einen A/B-Test ein, um herauszufinden, ob Ihre neue Kombination aus Schaltfläche und Überschrift mehr Conversions generiert…

Sie lenken den gleichen Traffic auf Ihre Post-Click-Landingpages – die Kontrolle und die Variation – und hören nach einem Monat auf, wenn Ihre Software Ihre Variation mit 99%iger Sicherheit zum Gewinner erklärt…

Sie führen das neue „gewinnende“ Design ein, aber einige Geschäftszyklen später zeigt dieser Anstieg der Conversion-Rate um 50 % keinen Einfluss auf Ihr Endergebnis. Du bist verwirrt. Du bist genervt…

Und Sie sind wahrscheinlich das Opfer eines falsch positiven Testergebnisses.

Was ist ein falsch positives Testergebnis?

Warum führt diese Steigerung der Conversion-Rate um 50 % nicht zu mehr Umsatz? Der Grund, sagt Lance Jones von Copyhackers, ist, dass es wahrscheinlich nicht existierte.

Es ist durchaus möglich (sogar wahrscheinlich), dass Sie die Umsatz- oder Umsatzsteigerung Ihres Tests nicht sehen, weil sie von vornherein nie da war. Möglicherweise haben Sie in Ihrem Test unwissentlich ein „falsch positiv“ erhalten – bekannt als statistischer Fehler vom Typ I, auch bekannt als falsche Ablehnung einer echten Nullhypothese. Das ist ein Bissen, also erinnere ich mich einfach daran, dass es falsch positiv war.

Bissig oder nicht, diese statistischen Fehler vom Typ 1 sind häufiger als man denkt. Es wird geschätzt, dass etwa 80 % der AB-Testergebnisse imaginär sind.

Wenn Sie wichtige Entscheidungen auf der Grundlage falsch positiver Ergebnisse treffen, überlassen Sie die Optimierung bestenfalls dem Zufall. Im schlimmsten Fall verschlechtern Sie die Conversion-Rate Ihrer Post-Click-Landingpages.

Glücklicherweise gibt es einige Möglichkeiten, giftige Daten zu bekämpfen. Eine davon ähnelt einer Testmethode, mit der Sie wahrscheinlich bereits vertraut sind…

Was ist ein A/A-Test?

Bei A/B-Tests wird der Traffic auf zwei verschiedene Seiten geleitet – eine Original (Ihre Kontrolle) und eine andere Version (Ihre Variante) – um zu sehen, welche besser abschneidet.

In ähnlicher Weise wird beim A/A-Test der Traffic auf zwei Seiten geleitet, um zu sehen, welche besser abschneidet. Aber anders als bei einem A/B-Test stellt ein A/A-Test zwei identische Seiten gegeneinander – und anstatt einen Lift zu entdecken, besteht ihr Ziel darin, keinen Unterschied zwischen Ihrer Kontrolle und Ihrer Variation zu finden.

Warum sollten Sie einen A/A-Test durchführen?

Wir geben Ihnen keine Vorwürfe, dass Sie sich am Kopf kratzen und sich fragen: "Was in aller Welt würde es bringen, zwei identische Seiten gegeneinander zu testen?"

Es mag albern klingen, aber es ist eine Technik, die einige professionelle Tester verwenden, um ihren A/B-Test zu testen, bevor sie testen. (Häh?)

Genaue Testergebnisse erfordern mehr als nur statistische Signifikanz

Jeder kann einen A/B-Test durchführen, aber nur wenige können einen gültigen A/B-Test durchführen (denken Sie daran: Nur etwa 20% der Testergebnisse sind tatsächlich legitim).

Zur Erstellung genauer Testdaten gehört mehr als das Erreichen einer statistischen Signifikanz mit einer großen und repräsentativen Stichprobengröße. Um sich auf Ihre Ergebnisse verlassen zu können, müssen Sie sicherstellen, dass die Probe nicht durch eine Reihe von Validitätsbedrohungen beeinträchtigt wird.

Gegen eine dieser Bedrohungen, den Instrumenteneffekt, sind A/A-Tests am hilfreichsten.

Was ist der Instrumenteneffekt?

Der Schutz vor Validitätsbedrohungen beginnt, bevor Sie mit A/B-Tests beginnen. Der Instrumenteneffekt, sagt Peep Laja von CXL, vergiftet die meisten Testergebnisse:

Dies ist das häufigste Problem. Es passiert, wenn etwas mit den Testwerkzeugen (oder Instrumenten) passiert, die fehlerhafte Daten im Test verursachen. Dies liegt oft an einer falschen Codeimplementierung auf der Website und verfälscht alle Ergebnisse.

Aus diesem Grund ist es wichtig, beim Einrichten eines Tests sicherzustellen, dass Ihre Tools richtig konfiguriert sind und so funktionieren, wie sie sollten. Ist dies nicht der Fall, können folgende häufige Probleme auftreten:

• Falsche Berichterstattung über Key Performance Indicators. Nur ein Fehler in einem Tool kann Ihre Daten durcheinander bringen, weshalb Sie sich nie auf eine einzige Plattform verlassen sollten, um alle Ihre Testinformationen zu verfolgen. Integrieren Sie zumindest Google Analytics, um zu überprüfen, ob die Metriken, die Sie in Ihrer Testsoftware und Ihrem Website-Tracking sehen, korrekt sind. Um noch bessere Ergebnisse zu erzielen, überprüfen Sie es dreimal mit einem anderen Tool. Seien Sie misstrauisch bei Berichten, die nicht relativ genau übereinstimmen.
• Anzeigeprobleme der Landingpage nach dem Klick. Kleine Codierungsfehler können während Ihres A/B-Tests große Gültigkeitsbedrohungen wie Anzeigeprobleme verursachen. Aus diesem Grund ist es wichtig, dass Ihre Post-Click-Landingpages auf allen Geräten und Browsern so aussehen, wie sie sollen, und dass Ihre Besucher nicht vom sogenannten „Flimmereffekt“ betroffen sind. Unter anderem kann eine langsame Website dieses Problem verursachen, das auftritt, wenn Ihr Steuerelement Ihrem Besucher kurz vor der Variation angezeigt wird.
• Einen Test zu früh abbrechen. Einige Testsoftware erklärt vorzeitig eine Gewinnerseite – wenn die Stichprobengröße nicht groß genug ist oder nicht repräsentativ für Ihren Zielkunden ist. Denken Sie daran: Das Erreichen einer statistischen Signifikanz bedeutet nicht, dass Sie Ihren Test beenden müssen. Je länger Sie es ausführen, desto genauer werden Ihre Ergebnisse.

Jedes dieser Probleme (und mehr) kann am Ende Ihres Tests zu einem falsch positiven Ergebnis führen, weshalb Peep die Tester warnt, wachsam zu sein:

Wenn Sie einen Test einrichten, beobachten Sie ihn wie ein Falke. Beachten Sie, dass jedes einzelne Ziel und jede einzelne Metrik, die Sie verfolgen, aufgezeichnet wird. Wenn eine Metrik keine Daten sendet (z. B. Klickdaten zum Warenkorb hinzufügen), stoppen Sie den Test, finden und beheben Sie das Problem und beginnen Sie erneut, indem Sie die Daten zurücksetzen.

Aber nicht jeder fühlt sich wohl, sofort mit beiden Beinen in das A/B-Testing einzusteigen – vor allem, wenn er eine neue Software verwendet. Als zusätzliche Vorsichtsmaßnahme führen einige Praktiker einen A/A-Test durch, um ihre Tools zu bewerten, bevor sie mit A/B-Tests beginnen.

Wenn Ihr Test richtig eingerichtet ist, sollten am Ende eines A/A-Tests beide Seiten mit einer ähnlichen Conversion-Rate erscheinen. Wie die folgenden Tester zeigen, passiert das jedoch nicht immer.

A/A-Testbeispiele

Sind False Positives wirklich so häufig? Kann eine Seite ihren Klon wirklich übertreffen? Diese Jungs verwendeten A/A-Tests, um dies herauszufinden und enthüllten ihre Ergebnisse in den folgenden Blog-Posts…

1. Split-Test auf der Startseite deckt große Mängel beliebter Testtools auf

Am 11. November 2012 startete das Copyhackers-Team einen A/A-Split-Test auf seiner Homepage, wie unten abgebildet:

Am 18. – 6 Tage später – erklärte ihr Testtool mit 95-prozentiger Sicherheit einen Gewinner. Aus Gründen der Genauigkeit entschied sich das Team jedoch, den Test noch einen Tag laufen zu lassen – an diesem Punkt erklärte ihre Software mit einem Konfidenzniveau von 99,6 % zum Sieger:

Ihre Homepage schnitt fast 24 % besser ab als die exakt gleiche Seite , und laut der Software bestand nur eine Wahrscheinlichkeit von 0,4 %, dass das Ergebnis falsch positiv war. Trotzdem ließ das Team den Test noch etwa drei Tage laufen, und die Unterschiede gleichten sich schließlich aus:

Aber das ist nicht der Punkt. Der Punkt ist: Das Testtool hat zu früh zum Sieger erklärt. Wenn das Copyhackers-Team es nicht am Laufen gehalten hätte, hätten sie fälschlicherweise angenommen, dass es ein Problem mit ihrem Experiment gibt. Lesen Sie hier mehr über den Test.

2. A/A-Tests: Wie ich die Conversions um 300 % steigerte, indem ich absolut nichts tat

Dieser sarkastische Titel stammt vom Autor und selbsternannten „Recovering Wantrepreneur“ David Kadavy, der über 8 Monate eine Reihe von A/A-Tests mit 750.000 E-Mail-Abonnenten durchführte. Während dieser Zeit generierte er statistisch signifikante Ergebnisse wie diese:

Zu diesen Ergebnissen gehörten:

• 9 % mehr E-Mail-Öffnungen
• 300 % mehr Klicks
• Eine um 51% niedrigere Abmelderate

Er sagt:

Für viele Wantrepreneurs (mein früheres Ich eingeschlossen) sieht das aus wie "oh wow, du hast die Öffnungen um 10% erhöht!" Sie können es sogar in den Signifikanzrechner des Visual Website Optimizer eingeben und sehen, dass p=.048. "Statistisch signifikant!" sie (oder ich) könnten ausrufen.

Die Wahrheit ist jedoch, dass dies alles A/A-Tests waren. Die gegeneinander getesteten Inhalte waren identisch. Sehen Sie hier mehr seiner Ergebnisse.

Sollten Sie A/A-Tests durchführen?

Die Antwort auf diese Frage hängt davon ab, wen Sie fragen.

Neil Patel, der immer wieder große Conversion-Steigerungen verzeichnete, die nicht zu mehr Umsatz führten, sagt: „Es ist wirklich wichtig, dass Sie zuerst einen A/A-Test durchführen, da dies dazu beiträgt, dass Sie keine Zeit mit ungenauer Software verschwenden.“

Auf der anderen Seite sagt Peep Laja von CXL, dass A/A-Tests selbst Zeitverschwendung sind. Wer hat also Recht?

Die beiden Hauptprobleme bei A/A-Tests

Aus theoretischer Sicht sind A/A-Tests sehr sinnvoll. Bei der Durchführung eines A/B-Tests ist vor allem die Genauigkeit am wichtigsten, und das Testen Ihres Tests ist nur eine von vielen Möglichkeiten, um dies sicherzustellen.

In realen Testumgebungen können A/A-Tests jedoch mehr schaden als nützen. Craig Sullivan erklärt:

Für mich besteht das Problem immer darin, echten Traffic und Testzeit zu verbrauchen, indem ich die Testlaufzeit mit einem Zeitraum von A/A-Tests vorladen muss. Wenn ich versuche, 40 Tests pro Monat durchzuführen, wird dies meine Fähigkeit beeinträchtigen, Dinge live zu übertragen. Ich hätte lieber einen halben Tag QA-Tests für das Experiment, als 2-4 Wochen A/A-Tests durchzuführen, um zu überprüfen, ob es stimmt.

Das ist Problem eins. A/A-Tests kosten Echtzeit und Traffic, den Sie verwenden könnten, um mit A/B-Tests mehr über Ihre Website-Besucher zu erfahren.

Problem zwei wird in der Fallstudie von Copyhackers veranschaulicht. Wie A/B-Tests müssen A/A-Tests sorgfältig entworfen und überwacht werden, da sie auch anfällig für falsch positive Ergebnisse sind.

Mit anderen Worten, Ihr A/A-Test könnte Ihnen sagen, dass eine Seite besser abschneidet als die andere, wenn dies nicht der Fall ist (diese Chance ist viel höher als Sie denken – etwa 50%).

Wenn das Team von Copyhackers auf sein Testtool gehört und nur sechs Tage später einen Gewinner erklärt hätte, hätte es noch mehr Zeit damit verbracht, herauszufinden, warum ihre Homepage besser abschneidet als ihr identischer Zwilling (wenn es das wirklich nicht war). .

Der große Vorteil von A/A-Tests

Trotz dieser Probleme haben A/A-Tests das Potenzial, Ihnen bei echten Tests zu helfen, noch größere Probleme zu erkennen. Wenn die Ergebnisse dieser Tests diejenigen sind, auf denen Sie wichtige Geschäftsentscheidungen stützen, ist dies ein großer Vorteil, den Sie berücksichtigen sollten.

Wenn Sie sich für einen A/A-Test entscheiden, gibt es einen potenziell weniger verschwenderischen Weg, den sogenannten A/A/B-Test.

A/A/B-Tests vs. A/A-Tests

Die traditionelle Methode des A/A-Tests verschwendet Traffic, da sie Ihnen am Ende nichts über Ihre Besucher sagt. Aber wenn Sie diesem Test eine „B“-Variante hinzufügen, könnte dies der Fall sein. Hier ist der Unterschied zwischen den beiden:

• A/A-Test = 2 identische Seiten gegeneinander getestet
• A/A/B-Test = 2 identische Seiten und eine gegeneinander getestete Variante

Ein A/A/B-Test teilt Ihren Traffic in drei Segmente auf, was bedeutet, dass es länger dauert, bis die statistische Signifikanz erreicht ist. Aber der Vorteil ist, dass Sie danach Daten sowohl über Ihr Testtool als auch über Ihre Besucher haben.

Vergleichen Sie die Ergebnisse von A und A, um festzustellen, ob Sie Ihrem Test vertrauen können. Wenn sie statistisch ähnlich sind, vergleichen Sie die Ergebnisse von A mit B. Wenn dies nicht der Fall ist, müssen Sie die Ergebnisse des gesamten Tests verwerfen (der länger dauerte als ein herkömmlicher A/A-Test.) da Ihr Verkehr in drei Richtungen segmentiert ist).

Überwiegen die Vorteile von A/A-Tests die Nachteile?

Manche Experten sagen „ja“, andere sagen „nein“. Andrew First von Leadplum scheint zu denken, dass die Antwort irgendwo dazwischen liegt:

A/A-Tests sollten wahrscheinlich keine monatliche Angelegenheit sein, aber wenn Sie ein neues Tool einrichten, lohnt es sich, sich die Zeit zu nehmen, Ihre Daten zu testen. Wenn Sie jetzt schlechte Daten abfangen, können Sie sich Monate später auf Ihre Testergebnisse verlassen.

Letztendlich liegt es an Ihnen. Wenn Sie ein neues Tool verwenden, ist es möglicherweise ratsam, Andrews Rat zu befolgen. Wenn dies nicht der Fall ist, ist es wahrscheinlich am besten, Craig Sullivans Beispiel zu folgen und stattdessen einen strengen QA-Prozess vor dem Test einzurichten. Sparen Sie Zeit, Ressourcen und Traffic für A/B-Tests.

Holen Sie das Beste aus Ihren Testbemühungen und digitalen Werbekampagnen heraus und melden Sie sich noch heute für eine Instapage Enterprise-Demo an.