13 Fehler beim E-Mail-A/B-Test, die Ihren Erfolg einschränken

„Man muss testen, sonst macht man nur eine begründete Vermutung“, sagte Stuart Clark von Red C auf der Litmus Live London 2017. E-Mail A/B-Tests waren letztes Jahr ein wiederkehrendes Thema bei allen drei Litmus Live-Events und auch hier Jahr. Das ist keine Überraschung, denn es ist eine der mächtigsten Möglichkeiten für E-Mail-Marketer, ihre Kampagnen zu wiederholen und zu verbessern.

A/B-Tests können Ihnen dabei helfen, schwerwiegende Änderungen in Ihren Betreffzeilen, E-Mail-Design, Zielseiten und mehr aufzudecken. Wie groß dürfen die Gewinne sein?

„E-Commerce-Marken, die A/B-Tests“
ihre E-Mails generieren 20% mehr Umsatz
im Durchschnitt."

—Alex Kelly (MailChimp)
bei Lackmus Live 2017

Dieses Zitat twittern →

Um Ihre E-Mails A/B zu testen, müssen Sie lediglich zwei Varianten zwei verschiedenen Gruppen Ihrer Abonnenten präsentieren und dann zuhören. Die Metriken geben Ihnen ihre Präferenz an, auf die Sie dann entweder kurzfristig reagieren können, indem Sie die Gewinnervariante an mehr Ihrer Zielgruppe senden, oder langfristig, indem Sie diese Präferenz auf zukünftige Kampagnen anwenden.

Das klingt einfach – und ist es bis zu einem gewissen Grad auch dank E-Mail-Dienstleistern und Testsoftwareanbietern, die Funktionen eingeführt haben, die die Durchführung von E-Mail-A/B-Tests viel einfacher machen als in der Vergangenheit. Es ist jedoch auch ziemlich einfach, Ihre E-Mail-A/B-Tests durcheinander zu bringen und entweder zu falschen Schlussfolgerungen zu kommen oder Ihre Ergebnisse vollständig zu untergraben.

Um dieses Schicksal zu vermeiden, finden Sie hier 13 Tipps, die sicherstellen, dass Sie das Beste aus Ihren E-Mail-A/B-Tests herausholen:

1. Testen Sie Ihre automatisierten und transaktionalen E-Mails, nicht nur Ihre Broadcast- und segmentierten E-Mails.

Fast 39 % der Marken testen ihre gesendeten und segmentierten E-Mails nie oder selten A/B, so Litmus' 2018 State of Email Survey.

Das ist eine verpasste Gelegenheit, aber es bleibt noch mehr Geld auf dem Tisch, wenn Sie sich automatisierte und transaktionale E-Mails ansehen. Mehr als 65 % der Marken testen ihre automatisierten E-Mails nie oder selten A/B und 76 % testen ihre Transaktions-E-Mails nie oder selten A/B.

Das ist schade, denn während A/B-Tests Ihrer Broadcast- und segmentierten E-Mails Ihnen einen Wettbewerbsvorteil verschaffen, verschafft Ihnen A/B-Tests Ihrer automatisierten und transaktionalen E-Mails einen enormen Vorteil. Erfolgreiche E-Mail-Programme haben eine 58 % höhere Wahrscheinlichkeit als weniger erfolgreiche Programme, ihre ausgelösten E-Mails mindestens einmal im Jahr A/B-Tests durchzuführen. Und bei erfolgreichen Programmen ist die Wahrscheinlichkeit, dass sie ihre Transaktions-E-Mails mindestens einmal im Jahr A/B-Tests durchführen, um 53 % höher.

Beide Aktionen gehören zu den Top 10 von 20 Dingen, die erfolgreiche E-Mail-Marketing-Programme tun.

Während ausgelöste E-Mails oft als Set-it-and-forget-it-Programme gelobt werden, denken Sie daran, dass nichts im E-Mail-Marketing „Set it and Forget it“ ist. Laut der 2018 State of Email Survey von Litmus machen diese E-Mails bei mehr als 13 % der Marken den Großteil des E-Mail-Marketingumsatzes aus. Und dieser Prozentsatz wird in den kommenden Jahren nur noch wachsen.

2. Konzentrieren Sie Ihre E-Mail-A/B-Tests auf Kampagnenelemente, die am ehesten die Leistung steigern.

Manchmal können winzige Änderungen an kleineren Elementen die Nadel für Sie bewegen, aber es ist im Allgemeinen ratsam, Ihre Tests auf wichtige E-Mail-Elemente wie Betreffzeilen, Handlungsaufforderungen und Bilder zu konzentrieren.

Laut unserer Umfrage unter 3.000 Vermarktern konzentrieren sich die meisten Marken derzeit auf ihre E-Mail-A/B-Tests. Du solltest auch.

Zusätzlich zu diesen Elementen enthalten Ihre automatisierten E-Mails andere Elemente, die es wert sind, getestet zu werden. In meinem Buch E-Mail-Marketingregeln empfehle ich Folgendes zu testen:

• Unterschiedliche Triggerlogik für automatisierte E-Mails
• Wie schnell die Nachricht gesendet wird, nachdem sie ausgelöst wurde
• Ob eine Reihe von automatisierten E-Mails gesendet werden soll
• Die Verzögerung zwischen automatisierten E-Mails in einer Serie
• Unter welchen Bedingungen wird eine automatisierte E-Mail in einer Serie übersprungen
• Unter welchen Bedingungen endet eine automatisierte E-Mail-Serie

3. Verstehen Sie, ob Ihre Tests Sie einem lokalen Maximum oder einem globalen Maximum näher bringen.

Testen Sie inkrementelle Optimierungen oder radikale Änderungen an Ihrer E-Mail? Es ist wichtig, dies zu verstehen, denn wie Indeed-Produktmanagerin Janie Clarke bei Litmus Live San Francisco betonte, können kleine Optimierungen Ihnen helfen, ein lokales Maximum zu erreichen, aber nicht helfen, ein neues globales Maximum zu entdecken. Um das zu finden, müssen Sie einen ganz anderen Ansatz ausprobieren.

Das Testen der Farbe einer Schaltfläche oder das Testen eines Textlinks im Vergleich zu einer Schaltfläche hilft Ihnen beispielsweise nur dabei, das E-Mail-Design zu optimieren oder ein lokales Maximum zu erreichen. Wenn Sie jedoch beispielsweise ein kopierintensives Design im Vergleich zu einem bildlastigen Design oder eine interaktive E-Mail im Vergleich zu einer Nur-Text-E-Mail testen, können Sie den besten Weg finden, um Ihre Nachricht zu kommunizieren – oder ein globales Maximum entdecken.

4. Beschränken Sie Ihre A/B-Tests auf eine Sache nach der anderen.

Sofern Sie keine multivariaten Tests durchführen, sollten Sie Ihre A/B-Tests auf eine Änderung pro Test beschränken. Du könntest zum Beispiel testen…

• Ein grüner Knopf gegen einen blauen Knopf
• E-Mail-Kopie mit Social Proof enthalten im Vergleich zu keinem Social Proof
• Ein Lifestyle-Held-Image versus ein Produkt-Held-Image
• Ein Rabatt in Prozent gegenüber einem Rabatt in US-Dollar

Da es mehr als einen Unterschied zwischen den Versionen A und B gibt, ist es schwierig, eindeutig zu bestimmen, welches Element zum Leistungsunterschied geführt hat.

5. Stellen Sie eine klare Hypothese auf.

Nehmen Sie keine zufälligen Änderungen vor, nur um zu sehen, was funktionieren könnte. Wissen Sie, was Sie erreichen möchten, und begründen Sie, warum das, was Sie testen, Ihnen hilft, das gewünschte Ziel zu erreichen.

Wenn Sie beispielsweise versuchen, die Conversions zu steigern, können Sie eine Version Ihrer E-Mail-Kopie erstellen, bei der sich der Call-to-Action oberhalb des Falzes befindet, um sie sichtbarer zu machen, und eine andere Version, bei der der Inhalt dem CTA vorausgeht und versucht, starke Inhalte zu generieren Interesse am CTA. Wenn Sie außerdem sehen möchten, ob die Ansprache Ihres neuen Abonnenten mit dem Namen in der Betreffzeile Ihrer Willkommens-E-Mail die Conversions steigert, würden Sie eine Betreffzeile mit der Personalisierung und eine andere ohne testen.

Websites wie Behave.org können Ihnen viele Ideen für Tests geben, die Sie basierend auf den Ergebnissen anderer Marken ausprobieren können.

6. Wählen Sie eine Testsieg-Metrik aus, die auf Ihr Kampagnenziel abgestimmt ist.

Wir können dies nicht genug betonen: Stellen Sie sicher, dass Sie weit genug im Trichter testen – was in den meisten Fällen bedeutet, dass Sie so weit wie möglich im Trichter testen. Die meisten E-Mail-Kampagnen versuchen, entweder E-Mail-Conversions oder Verkaufs-Conversions zu generieren, daher sollten sich Ihre E-Mail-A/B-Tests auch darauf konzentrieren, diese Metriken zu verschieben.

Was einige Marketer falsch machen, ist, dass sie der Meinung sind, dass Betreffzeilen nur Öffnungen beeinflussen können, E-Mail-Inhalte nur Klicks und Zielseiteninhalte nur Conversions beeinflussen können. Nicht wahr! Die verschiedenen Phasen einer E-Mail-Interaktion funktionieren nicht isoliert. Sie alle arbeiten zusammen, weil die Abonnenten sie alle zusammen erleben.

Wenn Sie das akzeptieren, erkennen Sie, dass das Ziel einer Betreffzeile nicht darin besteht, Öffnungen zu generieren. Es soll Opener generieren, die wahrscheinlich konvertieren. Ebenso besteht das Ziel von E-Mail-Inhalten nicht darin, Klicks zu generieren. Es dient dazu, Klicker zu generieren, die wahrscheinlich konvertieren.

Nicht überzeugt? Es ist einfach, für sich selbst zu bestätigen. Führen Sie einfach ein paar A/B-Tests für die Betreffzeile durch und sehen Sie sich an, wie sich die verschiedenen Betreffzeilen auf die Aktivität im gesamten E-Mail-Interaktionstrichter auswirken.

Und wen interessiert es, wenn Betreffzeile A mehr Öffnungen generiert als Betreffzeile B, wenn letztere mehr Conversions generiert? Und wen interessiert es, wenn E-Mail-Inhalt A mehr Klicks generiert als E-Mail-Inhalt B, wenn letzterer mehr Conversions erzeugt? Wir garantieren, dass Ihr Chef mehr Conversions bevorzugt.

2018 Stand der E-Mail-Analyse Wie schneiden Ihre E-Mail-Analysefunktionen im Vergleich zu Ihren Kollegen ab? Sehen Sie, welche E-Mail-Kennzahlen Marken messen (und welche Tools sie dafür verwenden) mit unserem allerersten Bericht zum Status von E-Mail-Analysen. Holen Sie sich Ihr Exemplar →

7. Verwenden Sie Testpublikumssegmente ähnlicher Abonnenten.

So wie Sie die Änderungen an den Versionen A und B Ihrer E-Mail kontrollieren, müssen Sie auch kontrollieren, wer welche Version erhält. Sie möchten, dass Ihre beiden Testgruppen aus den gleichen Arten von Abonnenten bestehen, beispielsweise neue Abonnenten, Abonnenten, die Kunden sind, oder Abonnenten in einer bestimmten Region.

8. Verwenden Sie Testzielgruppensegmente von aktiven Abonnenten.

Ebenso sollten Sie sicherstellen, dass beide Gruppen von Testempfängern aktive Abonnenten enthalten, die regelmäßig mit Ihren E-Mails interagieren. Andernfalls, wenn Version A an eine Gruppe von Abonnenten geht, die viel aktiver ist als die Gruppe, die Version B erhalten hat, dann ist es wahrscheinlicher, dass Version A aus Gründen "gewinnt", die möglicherweise nichts mit Version A zu tun haben.

Die einzige Einschränkung besteht darin, dass Sie E-Mails zur Wiedereingliederung testen. In diesem Fall möchten Sie natürlich inaktive Abonnenten ansprechen.

9. Stellen Sie sicher, dass Ihre Testgruppen groß genug sind, damit Ihre Ergebnisse statistisch signifikant sind.

Wenn Ihr Testpublikum zu klein ist, können die Ergebnisse Ihres Tests nur auf Zufälligkeit zurückzuführen sein. Stellen Sie sicher, dass Ihre Ergebnisse statistisch signifikant sind, indem Sie ein ausreichend großes Testpublikum haben.

Kissmetrics, AB Testguide und Optimizely haben alle Online-Rechner, die Ihnen helfen.

10. Verwenden Sie ggf. Holdout-Gruppen.

Berücksichtigen Sie bei jeder E-Mail, die Sie testen, die Auswirkungen, wenn Ihre Abonnenten diese E-Mail überhaupt nicht erhalten. Mit einer Holdout-Gruppe von Abonnenten, die keine E-Mail erhalten, können Sie diesen Effekt messen.

Holdout-Gruppen sind besonders wertvoll, wenn es darum geht, automatisierte E-Mails zu testen. Wenn Sie beispielsweise die Leistung einer neuen Warenkorbabbruch-E-Mail testen, möchten Sie sicherstellen, dass ein Teil der Warenkorbabbrecher überhaupt keine Warenkorbabbruch-E-Mail erhält. Auf diese Weise können Sie messen, ob Ihre E-Mail beim Verlassen des Einkaufswagens Abonnenten nervt oder ihr natürliches Einkaufsverhalten stört.

Sie können jedoch für jede E-Mail, die Sie senden, eine Holdout-Gruppe verwenden, um sicherzustellen, dass E-Mails tatsächlich einen positiven Effekt auf Ihre Abonnenten haben. Das Unternehmenssoftwareunternehmen Atlassian hat ein System eingerichtet, das das Testen jeder E-Mail erfordert, einschließlich obligatorischer Holdout-Gruppen, sagte Jeff Sinclair, Senior Product Manager der Engagement-Plattform von Atlassian, den Teilnehmern von Litmus Live San Francisco.

11. Erstellen Sie einen Testplan, damit Sie regelmäßig testen und die Testergebnisse aufzeichnen.

Ad-hoc-A/B-Tests sind ineffizient, weil sie sporadisch und unfokussiert sind. Um das Beste aus Ihren A/B-Tests herauszuholen, brauchen Sie einen Plan. Entwickeln Sie einen Testplan, der Folgendes aufzeichnet:

• Die Theorien, die Sie zu bestätigen versuchen
• Welche E-Mails Sie verwenden, um jede Theorie zu testen
• Die Ergebnisse jedes Tests und wie sie sich auf Ihre zukünftigen Testpläne auswirken

Versuchen Sie, einen A/B-Test in mindestens die Hälfte Ihrer gesendeten und segmentierten Werbe-E-Mails aufzunehmen, da unsere Untersuchungen zeigen, dass Marken kaum einen Wettbewerbsvorteil erzielen, wenn sie weniger häufig testen. Ebenso berichten Marken eine signifikante Erfolgssteigerung, wenn sie ihre ausgelösten und transaktionalen E-Mails mindestens alle 6 Monate A/B-Tests durchführen.

Sie werden auch einen Testplan haben wollen, weil Sie…

12. Bestätigen Sie die Testergebnisse.

Ein einzelner A/B-Test ist nie für immer schlüssig. Kurzfristig kann jede Erhöhung, die Sie sehen, das Ergebnis des Neuheitseffekts sein. Abonnenten werden vom Neuen angezogen, was jede Änderung, die Sie gegenüber der Kontrolle vornehmen, erleichtern kann.

Der Neuheitseffekt verblasst jedoch ziemlich schnell. Wenn Sie also denselben Test über einen längeren Zeitraum zwei- oder dreimal ausführen, werden Sie jeden Neuheitseffekt auswringen und die wahren Auswirkungen der Änderung erkennen können.

Langfristig ändern sich das Verhalten und die Einstellung der Verbraucher. Die Zusammensetzung Ihrer E-Mail-Liste kann sich auch im Laufe der Zeit ändern, abhängig von den Praktiken der Abonnentengewinnung, Änderungen Ihres Produkt- oder Serviceangebots, der Expansion in oder des Rückzugs aus bestimmten Regionen und anderen Faktoren.

Je eindeutiger der Erfolg eines Tests ist, desto länger können Sie wahrscheinlich warten, um ihn erneut zu bestätigen. Aber irgendwann möchten Sie jeden Test regelmäßig mindestens ein- oder zweimal bestätigen – deshalb ist ein A/B-Testplan von entscheidender Bedeutung.

13. Teilen Sie die Ergebnisse Ihrer E-Mail-A/B-Tests mit anderen Kanalbesitzern in Ihrem Unternehmen.

Jonathan Pay von Holistic Email Marketing sagte den Teilnehmern von Litmus Live London, dass sie ihre E-Mail-A/B-Testerkenntnisse mit ihren Web-, Social-Media- und Werbeteams teilen sollten. Das ist ein guter Rat, denn E-Mail-Marketing-Erfahrungen können den Erfolg in anderen Kanälen steigern.

Eine mangelhafte Koordination zwischen Kanälen und Abteilungen wurde laut einer Litmus-Umfrage unter mehr als 600 Vermarktern als größte Herausforderung für E-Mail-Marketer im Jahr 2018 identifiziert. Das Teilen von A/B-Testergebnissen ist nur eine weitere Möglichkeit, mit der Marken einen Omnichannel-Ansatz für Marketing und Kundenerlebnis fördern können.

Um das Beste aus Ihren E-Mail-A/B-Tests herauszuholen…

Befolgen Sie diese 13 Empfehlungen:

1. Testen Sie Ihre automatisierten und transaktionalen E-Mails, nicht nur Ihre Broadcast- und segmentierten E-Mails.
2. Konzentrieren Sie Ihre E-Mail-A/B-Tests auf Kampagnenelemente, die am ehesten die Leistung steigern.
3. Verstehen Sie, ob Ihre Tests Sie einem lokalen Maximum oder einem globalen Maximum näher bringen.
4. Beschränken Sie Ihre A/B-Tests auf eine Sache nach der anderen.
5. Habe eine klare Hypothese.
6. Wählen Sie einen Testsieg-Messwert aus, der Ihrem Kampagnenziel entspricht.
7. Verwenden Sie Testzielgruppensegmente ähnlicher Abonnenten.
8. Verwenden Sie Testzielgruppensegmente aktiver Abonnenten.
9. Stellen Sie sicher, dass Ihre Testgruppen groß genug sind, damit Ihre Ergebnisse statistisch signifikant sind.
10. Verwenden Sie ggf. Holdout-Gruppen.
11. Erstellen Sie einen Testplan, damit Sie regelmäßig testen und die Testergebnisse aufzeichnen.
12. Bestätigen Sie die Ergebnisse der Tests.
13. Teilen Sie die Ergebnisse Ihrer E-Mail-A/B-Tests mit anderen Kanalbesitzern in Ihrem Unternehmen.