Oto, w jaki sposób testy A/B MailChimp są możliwe w zautomatyzowanych kampaniach

Ten post został pierwotnie opublikowany w 2016 roku jako część serii Edgar Learn, w której podzieliliśmy się strategiami, które pomogły nam osiągnąć sukces. Chociaż od tego czasu wiele się zmieniło, wydaje się, że ten hack MailChimp do testów A/B, który odkryliśmy w 2016 roku, może nadal działać do dziś, więc postanowiliśmy pozostawić go online, abyś mógł spróbować.

Absolutnie uwielbiamy MailChimp tutaj w MeetEdgar. To bez wątpienia jedno z najważniejszych narzędzi dla naszego biznesu.

Ale kiedy zaczęliśmy naprawdę zagłębiać się w testy A/B MailChimp i wysyłać testowe wiadomości e-mail MailChimp, napotkaliśmy mały problem.

MailChimp nie pozwala na testowanie A/B automatycznych kampanii i jest to NADAL prawdziwe w 2021 roku. Umożliwiają one tylko testowanie na wielu odmianach na pojedynczych e-mailach.

Ma to sens – kardynalną zasadą testów A/B jest to, że chcesz zmienić tylko jedną zmienną na raz, a sam charakter automatycznych kampanii (wysyłanie kilku e-maili z rzędu, automatycznie) bardzo to utrudnia.

Jednak tam, gdzie jest wola, jest na to sposób i odkryliśmy małą sztuczkę, którą możesz chcieć dodać do swojego arsenału hacków MailChimp.

Jak włamać się do testów A/B MailChimp

Na przykład, jeśli masz serię trzech e-maili i chcesz przetestować zmiany we wszystkich trzech, musisz skonfigurować test, który wyglądał mniej więcej tak:

Gdzie „Kontrola” to standardowa wersja wiadomości e-mail, a „Test” to wiadomość e-mail.

To dziewięć różnych odmian, co oznacza, że ​​będziemy dzielić ruch na dziewięć różnych sposobów, co oznacza, że ​​uzyskanie odpowiedniej wielkości próbki zajmie trochę czasu. A ponieważ wykonanie każdej z tych serii zajęło już kilka dni, czekaliśmy na bardzo długi czas, aby przeprowadzić każdy test prawidłowo.

Postanowiliśmy więc trochę pokombinować i sprawić, by nasze testy wyglądały po prostu tak:

Proszę nie wzywać nas policji testowej! Wiemy, że nie jest to najbardziej naukowy sposób testowania A/B MailChimp.

Naszym uzasadnieniem, poza ogólną prostotą i szybkością testowania, było to, że szukaliśmy również dużych zmian w naszych współczynnikach konwersji. Kiedy szukasz DUŻEJ zmiany, nieco mniej ważne staje się dokładne wyizolowanie elementu, który zmieniasz w teście.

Jak nakłoniliśmy MailChimp do przeprowadzenia tych testów?

Ponieważ MailChimp nie został skonfigurowany, aby umożliwić nam uruchamianie testów na automatycznych wiadomościach e-mail, musieliśmy wymyślić obejście tego problemu. Oto, co zrobiliśmy…

Nasze testy skupiły się przede wszystkim na naszej serii zaproszeń.

Kiedy odwiedziłeś MeetEdgar.com, zostałeś zaproszony do zapisania się na zaproszenie do korzystania z Edgara. Kiedy zapisałeś się na zaproszenie, przypisano Ci numer (odmiana testowa). Dokonano tego dzięki niewielkiej zakulisowej magii, którą opracował nasz ekspert od WordPressa.

Kiedy utworzyliśmy segmenty dla kampanii testowych w MailChimp, użyliśmy tego numeru Odmiany Testowej, aby podzielić Cię na grupę testową lub grupę kontrolną. Następnie wysłaliśmy Ci odpowiednią kampanię kroplową.

Chwile przed wynalezieniem numeru Wariantu Testu.

Aby jeszcze raz odwołać się do powyższych przykładów, gdybyśmy prowadzili badania naukowe oparte na podręcznikach, potrzebowalibyśmy dziewięciu takich grup, aby przetestować dziewięć różnych wariantów naszego przepływu testowego. Ale w naszej uproszczonej wersji potrzebowaliśmy tylko dwóch odmian testowych, aby uzyskać pożądane wyniki.

Więc mogliśmy po prostu przypisać każdemu jeden lub dwa. Ale to nie jest to, co zrobiłby Hackerman!

Zamiast tego przypisaliśmy każdemu numer od jednego do sześciu. Pomogło to zapewnić bardziej równomierny (i losowy) podział między grupami, a także pozwoliło na trójstronne testy podziału, jeśli czujemy się szczególnie… drażliwi.

Jedynki, dwójki i trójki weszły do ​​naszej grupy kontrolnej i otrzymały te same e-maile, które zwykle wysyłaliśmy. Czwórki, piątki i szóstki weszły do ​​grupy eksperymentalnej i otrzymały nasz zupełnie nowy przepływ.

Oto jak wygląda narzędzie segmentowe MailChimp:

Użyliśmy odmiany testowej, aby podzielić naszą publiczność.

Pamiętaj, że musisz to zrobić tylko dla pierwszego e-maila z automatycznej serii! Wszystkie inne e-maile są połączone z tym e-mailem, co ułatwia podział przepływów do testowania. Dzięki, MailChimp!

Jak zmierzyliśmy sukces

Najtrudniejszą częścią naszego zhakowanego procesu testowania było mierzenie wyników.

Przyglądaliśmy się dwóm głównym rzeczom: wskaźnikowi otwarć i wskaźnikowi kliknięć.

Wskaźnik otwarć to liczba osób otwierających każdą wiadomość e-mail, a wskaźnik kliknięć to liczba osób, które klikają łącze w każdej wiadomości e-mail. To są dość oczywiste statystyki, prawda?

Powodem, dla którego trudno było zmierzyć sukces, było to, że potrzebowaliśmy konkretnych liczb do pracy, ale MailChimp podaje te liczby jako wartości procentowe. Zbudowaliśmy więc arkusz kalkulacyjny, który uwzględniał procentowe stawki i całkowitą liczbę wysłanych e-maili oraz zwracał rzeczywiste liczby kliknięć i otwarć. Wyglądało to tak:

Nie martw się, wyjaśnimy kolumny za sekundę!

Dlaczego więc potrzebowaliśmy rzeczywistej liczby otwarć i kliknięć? Ponieważ następnie wzięliśmy te liczby i wprowadziliśmy je do kalkulatora istotności testu podzielonego A/B VWO, aby sprawdzić, czy nasze wyniki były statystycznie istotne.

Oto jak to wyglądało:

Bez wchodzenia w matematykę, ten kalkulator w zasadzie określa, czy wielkość próbki jest wystarczająco duża, aby pokazać rzeczywistą zmianę. W powyższym przykładzie nie były – dlatego nasze „Znaczące?” kolumna w arkuszu kalkulacyjnym pokazuje również „Nie”

Ciągle przeprowadzamy test i ręcznie wprowadzamy liczby do arkusza kalkulacyjnego i kalkulatora, dopóki nie pokażą one znaczenia, lub uznamy, że trwa to wystarczająco długo, aby pokazać, że zmiana nie ma żadnego rzeczywistego wpływu. A czasami może to być również bardzo cenna lekcja!

Nasza największa lekcja do tej pory

Zebraliśmy wiele przydatnych informacji z naszych wspólnych zhakowanych testów, w tym niektórych klasycznych testów wiersza tematu MailChimp i zmiany treści określonych e-maili. Ale w ogólnym schemacie rzeczy, nasze najcenniejsze do tej pory wnioski pochodzą z testu, który nie wykazał znaczących zmian w wydajności – tego samego testu, którego używaliśmy jako przykładu na powyższych ilustracjach.

W tym teście jedyną rzeczą, która różniła się między naszymi dwiema kampaniami, był czas między każdym e-mailem. Pod naszą kontrolą mieliśmy trzy e-maile rozłożone na mniej więcej miesiąc. W naszym teście skróciliśmy ten harmonogram do 10 dni.

I zgadnij co? Wyniki były prawie takie same.

Zasadniczo dowiedzieliśmy się, że możemy skrócić ramy czasowe naszej wprowadzającej kampanii e-mailowej do około jednej trzeciej jej pierwotnej długości bez żadnych negatywnych skutków. Więc to oczywiście stało się naszym nowym standardem! Nie pomogło to w szybszym pozyskiwaniu nowych klientów, ale także przyspieszyło przyszłe testy. I to jest rodzaj rzeczy, które przynoszą zyski w przyszłości.

Chcesz się też zabawić z MailChimp? W takim razie wypróbuj tę sztuczkę z automatycznym testowaniem kampanii!

Czy próbowałeś testować automatyczne kampanie w MailChimp?

Jeśli przeczytałeś ten post w 2016 roku i podałeś nasze wskazówki dotyczące testowania, chcielibyśmy usłyszeć, jak sobie radzisz. Czy odkryłeś coś przydatnego, zabawnego, interesującego?

Jeśli próbujesz tego małego hacka po raz pierwszy, daj nam znać w komentarzach! Uwielbiamy uczyć się na Twoich eksperymentach.