Ecco come è possibile eseguire il test A/B di MailChimp su campagne automatizzate

Questo post è stato originariamente pubblicato nel 2016 come parte della serie Edgar Learn, in cui abbiamo condiviso le strategie che ci hanno aiutato a raggiungere il successo. Anche se molto è cambiato da allora, sembra che questo hack di MailChimp per i test A/B che abbiamo scoperto nel 2016 possa funzionare ancora oggi, quindi abbiamo deciso di tenerlo online per provarlo.

Adoriamo assolutamente MailChimp qui a MeetEdgar. È senza dubbio uno degli strumenti più importanti per la nostra attività.

Ma quando abbiamo iniziato a scavare davvero nei test A/B di MailChimp e a inviare e-mail di prova di MailChimp, ci siamo imbattuti in un piccolo problema.

MailChimp non consente il test A/B di campagne automatizzate e questo è ANCORA vero nel 2021. Consentono solo test multivariati su singole e-mail.

Ha senso: la regola fondamentale dei test A/B è che si desidera modificare solo una variabile alla volta e la natura stessa delle campagne automatizzate (invio di più e-mail di seguito, automaticamente) lo rende molto difficile da fare.

Tuttavia, dove c'è una volontà, c'è un modo e abbiamo scoperto un piccolo trucco che potresti voler aggiungere al tuo arsenale di hack MailChimp.

Come hackerare i test A/B di MailChimp

Ad esempio, se avevi una serie di tre email e volevi testare le modifiche a tutte e tre, dovevi impostare un test simile a questo:

Dove "Control" era la versione standard dell'e-mail e "Test" era l'e-mail.

Sono nove diverse varianti, il che significa che divideremo il traffico in nove modi diversi, il che significa che ci vorrebbe del tempo per ottenere una dimensione del campione significativa. E poiché ciascuna di queste serie ha già richiesto diversi giorni per essere completata, stavamo valutando un tempo molto lungo per eseguire correttamente ogni test.

Quindi abbiamo deciso di confondere un po' le cose e di rendere i nostri test semplicemente così:

Si prega di non chiamare la polizia di prova su di noi! Sappiamo che non è il modo più scientifico per testare A/B MailChimp.

La nostra giustificazione, oltre alla semplicità generale e alla velocità di test, era che stavamo anche cercando grandi cambiamenti nei nostri tassi di conversione. Quando stai cercando un GRANDE cambiamento, diventa un po' meno importante isolare esattamente quale elemento stai cambiando nel test.

Come abbiamo indotto MailChimp a eseguire questi test

Poiché MailChimp non è stato impostato per consentirci di eseguire test su e-mail automatizzate, abbiamo dovuto trovare una soluzione alternativa. Quindi ecco cosa abbiamo fatto...

I nostri test si sono concentrati principalmente sulle nostre serie di inviti.

Quando hai visitato MeetEdgar.com, sei stato invitato a registrarti per un invito a utilizzare Edgar. Quando ti sei registrato per un invito, ti è stato assegnato un numero (la variante del test). Questo è stato fatto attraverso una piccola magia dietro le quinte che il nostro esperto di WordPress aveva sviluppato.

Quando abbiamo creato i segmenti per le campagne di test in MailChimp, abbiamo utilizzato questo numero di variazione del test per dividerti in un gruppo di test o in un gruppo di controllo. Quindi ti abbiamo inviato la campagna antigoccia appropriata.

Momenti prima di inventare il numero di Test Variation.

Per fare riferimento ai nostri esempi sopra ancora una volta, se stessimo conducendo uno studio scientifico da manuale, avremmo avuto bisogno di nove di questi gruppi per testare le nove diverse variazioni del nostro flusso di test. Ma nella nostra versione semplificata, avevamo solo bisogno di due Test Variations per ottenere i risultati desiderati.

Quindi avremmo potuto assegnare a tutti uno o due. Ma non è quello che farebbe Hackerman!

Invece, abbiamo assegnato a tutti un numero compreso tra uno e sei. Ciò ha contribuito a garantire una divisione più uniforme (e casuale) tra i gruppi e ha consentito anche test divisi a tre vie se ci sentiamo particolarmente... irritabili.

Uno, due e tre sono entrati nel nostro gruppo di controllo e hanno ricevuto le stesse e-mail che di solito inviavamo. Quattro, cinque e sei sono entrati nel gruppo sperimentale e hanno ricevuto il nostro nuovo flusso.

Ecco come appare lo strumento Segmento di MailChimp:

Abbiamo utilizzato una variante di prova per dividere il nostro pubblico.

Nota che devi farlo solo per la prima e-mail della serie automatizzata! Tutte le altre e-mail sono collegate a questa e-mail, rendendo un po' più semplice dividere i flussi per il test. Grazie, MailChimp!

Come abbiamo misurato il successo

La parte più complicata del nostro processo di test hackerato è stata la misurazione dei risultati.

Stavamo esaminando due cose principali: Open Rate e Click Rate.

La percentuale di apertura indica quante persone aprono ciascuna e-mail e la percentuale di clic indica quante persone fanno clic su un collegamento all'interno di ciascuna e-mail. Queste sono statistiche abbastanza ovviamente vitali, giusto?

Il motivo per cui è stato difficile misurare il successo era perché avevamo bisogno di numeri concreti con cui lavorare, ma MailChimp fornisce questi numeri come percentuali. Quindi abbiamo creato un foglio di calcolo che prendeva le percentuali e il numero totale di e-mail inviate e restituiva i numeri effettivi per clic e aperture. Sembrava così:

Non preoccuparti, ti spiegheremo le colonne in un secondo!

Allora perché avevamo bisogno del numero effettivo di aperture e clic? Perché abbiamo quindi preso quei numeri e li abbiamo inseriti nel calcolatore di significatività del test diviso A/B di VWO per vedere se i nostri risultati erano statisticamente significativi.

Ecco come appariva:

Senza arrivare alla matematica, questo calcolatore calcola sostanzialmente se le dimensioni del tuo campione sono abbastanza grandi da mostrare un cambiamento reale. Nell'esempio sopra, non lo erano, ecco perché il nostro "Significativo?" la colonna nel foglio di calcolo mostra anche un "No"

Continuiamo a eseguire un test e ad inserire manualmente i numeri nel foglio di calcolo e nella calcolatrice fino a quando non mostra un significato, oppure decidiamo che è durato abbastanza a lungo da mostrare che non c'è alcun impatto reale dal cambiamento. E a volte, anche questa può essere una lezione piuttosto preziosa!

La nostra più grande lezione finora

Abbiamo raccolto molte informazioni utili dai nostri test hackerati, inclusi alcuni classici test della riga dell'oggetto di MailChimp e la modifica del contenuto di e-mail specifiche. Ma nello schema generale delle cose, i nostri insegnamenti più preziosi finora sono venuti da un test che non ha mostrato alcun cambiamento significativo nelle prestazioni, lo stesso test che abbiamo usato come esempio nelle immagini sopra.

In questo test, l'unica cosa diversa tra le nostre due campagne era la quantità di tempo tra ogni email. Sotto il nostro controllo, avevamo tre e-mail distribuite all'incirca nel corso di un mese. Nel nostro test, abbiamo ridotto il programma a 10 giorni.

E indovina cosa? I risultati sono stati più o meno gli stessi.

In sostanza, abbiamo appreso che potevamo ridurre il periodo di tempo della nostra campagna e-mail introduttiva a circa un terzo della sua durata originale senza effetti negativi. Quindi ovviamente quello è diventato il nostro nuovo standard! Questo non ha aiutato ad attirare nuovi clienti più rapidamente, ma ha anche reso più rapidi i nostri test futuri. E questo è il genere di cose che pagano bene lungo la strada.

Vuoi divertirti anche con MailChimp? Allora prova questo trucco di test automatico della campagna!

Hai provato a testare campagne automatizzate in MailChimp?

Se hai letto questo post nel 2016 e hai provato i nostri suggerimenti per i test, ci piacerebbe sapere come ti sei trovata. Hai scoperto qualcosa di utile, divertente, interessante?

Se stai provando questo piccolo trucco per la prima volta adesso, facci sapere il tuo feedback nei commenti! Ci piace imparare dai tuoi esperimenti.