Iată cum este posibilă testarea MailChimp A/B în campaniile automate

Această postare a fost publicată inițial în 2016, ca parte a seriei Edgar Learn, unde am împărtășit strategiile care ne-au ajutat să găsim succesul. Deși s-au schimbat multe de atunci, se pare că acest hack MailChimp pentru testarea A/B pe care l-am descoperit în 2016 poate funcționa și astăzi, așa că am decis să îl păstrăm online pentru ca tu să îl încerci.

Adorăm absolut MailChimp aici la MeetEdgar. Este, fără îndoială, unul dintre cele mai importante instrumente pentru afacerea noastră.

Dar când am început să cercetăm cu adevărat testarea MailChimp A/B și să trimitem e-mailuri de testare MailChimp, am întâlnit o mică problemă.

MailChimp nu permite testarea A/B a campaniilor automate și acest lucru este ÎNCĂ adevărat în 2021. Ele permit doar testarea multivariată pe e-mailuri individuale.

Are sens – regula cardinală a testării A/B este că doriți să schimbați doar o variabilă la un moment dat, iar însăși natura campaniilor automate (trimiterea mai multor e-mailuri la rând, automat) face acest lucru foarte dificil de realizat.

Cu toate acestea, acolo unde există voință, există o cale și am descoperit un mic truc pe care s-ar putea să doriți să îl adăugați la arsenalul dvs. de hack-uri MailChimp.

Cum să piratați testarea MailChimp A/B

De exemplu, dacă ați avut o serie de trei e-mailuri și ați vrut să testați modificări la toate trei, trebuia să configurați un test care să arate cam așa:

Unde „Control” a fost versiunea standard a e-mailului, iar „Test” a fost e-mailul.

Sunt nouă variante diferite, ceea ce înseamnă că am împărți traficul în nouă moduri diferite, ceea ce înseamnă că ar dura ceva timp pentru a obține o dimensiune semnificativă a eșantionului. Și, deoarece fiecare dintre aceste serii a durat deja câteva zile pentru a fi finalizată, ne uitam la un timp foarte lung pentru a rula fiecare test în mod corespunzător.

Așa că ne-am hotărât să ne înșelăm puțin lucrurile și să facem testele noastre să arate așa:

Vă rugăm să nu sunați la Poliția de Testare! Știm că nu este cea mai științifică modalitate de a testa A/B MailChimp.

Justificarea noastră, în afară de simplitatea generală și viteza de testare, a fost că am căutat și schimbări majore la ratele noastre de conversie. Când căutați o schimbare MARE, devine puțin mai puțin important să izolați exact ce element schimbați în test.

Cum am păcălit MailChimp să execute aceste teste

Deoarece MailChimp nu a fost configurat pentru a ne permite să rulăm deloc teste pe e-mailuri automate, a trebuit să găsim o soluție. Deci, iată ce am făcut...

Testarea noastră s-a concentrat în principal pe seria noastră de invitații.

Când ați vizitat MeetEdgar.com, ați fost invitat să vă înscrieți pentru o invitație de a folosi Edgar. Când v-ați înscris pentru o invitație, vi s-a atribuit un număr (variația testului). Acest lucru a fost realizat printr-o mică magie din culise dezvoltată de expertul nostru WordPress.

Când am creat segmentele pentru campaniile de testare în MailChimp, am folosit acest număr de Variație de Test pentru a vă împărți fie într-un grup de testare, fie într-un grup de control. Apoi v-am trimis campania potrivită de picurare.

Cu câteva momente înainte de a inventa numărul Variației de Test.

Pentru a ne referi încă o dată la exemplele noastre de mai sus, dacă am derula un studiu științific conform cărților, am fi avut nevoie de nouă astfel de grupuri pentru a testa cele nouă variații diferite ale fluxului nostru de testare. Dar, în versiunea noastră simplificată, aveam nevoie doar de două variante de testare pentru a obține rezultatele pe care le dorim.

Deci am fi putut să le atribuim tuturor fie unul, fie unul. Dar nu asta ar face Hackerman!

În schimb, am atribuit tuturor un număr între unu și șase. Acest lucru a ajutat la asigurarea unei împărțiri mai egale (și aleatorii) între grupuri și a permis și testarea împărțită în trei căi, dacă ne simțim deosebit de... necăjiți.

Unii, doi și trei au intrat în grupul nostru de control și au primit aceleași e-mailuri pe care le trimiteam de obicei. Patru, cinci și șase au intrat în grupul experimental și au primit fluxul nostru complet nou.

Iată cum arată instrumentul de segmentare al MailChimp:

Am folosit o variantă de testare pentru a ne împărți audiența.

Rețineți că trebuie să faceți acest lucru doar pentru primul e-mail din seria automată! Toate celelalte e-mailuri sunt conectate la acest e-mail, ceea ce face puțin mai ușoară împărțirea fluxurilor pentru testare. Mulțumesc, MailChimp!

Cum am măsurat succesul

Cea mai dificilă parte a procesului nostru de testare piratat împreună a fost măsurarea rezultatelor.

Ne uitam la două lucruri principale: Rata de deschidere și Rata de clic.

Rata de deschidere este numărul de persoane care deschid fiecare e-mail, iar rata de clic este numărul de persoane care fac clic pe un link din fiecare e-mail. Acestea sunt destul de evident statistici vitale, nu?

Motivul pentru care a fost dificil de măsurat succesul a fost pentru că aveam nevoie de numere concrete cu care să lucrăm, dar MailChimp oferă aceste numere ca procente. Așa că am creat o foaie de calcul care a luat ratele procentuale și numărul total de e-mailuri trimise și a dat înapoi cifrele reale pentru clicuri și deschideri. Arăta așa:

Nu vă faceți griji, vă vom explica coloanele într-o secundă!

Deci, de ce aveam nevoie de numărul real de deschideri și clicuri? Pentru că apoi am luat acele numere și le-am introdus în Calculatorul de semnificație a testului divizat A/B de la VWO pentru a vedea dacă rezultatele noastre au fost semnificative statistic.

Iată cum arăta:

Fără a ajunge la matematică, acest calculator își dă seama dacă dimensiunile eșantionului sunt suficient de mari pentru a arăta o schimbare reală. În exemplul de mai sus, nu au fost – motiv pentru care „semnificativ?” coloana din foaia de calcul arată, de asemenea, un „Nu”

Continuăm să executăm un test și să introducem manual numerele în foaia de calcul și în calculator până când arată semnificație sau decidem că a durat suficient de mult pentru a arăta că nu există un impact real al schimbării. Și, uneori, aceasta poate fi și o lecție destul de valoroasă!

Cea mai mare lecție a noastră de până acum

Am adunat o mulțime de informații utile din testele noastre piratate împreună, inclusiv unele teste clasice de subiect MailChimp și modificarea conținutului anumitor e-mailuri. Dar în schema generală a lucrurilor, cele mai valoroase învățăminte ale noastre de până acum au provenit dintr-un test care nu a arătat nicio schimbare semnificativă a performanței – același test pe care l-am folosit ca exemplu în imaginile de mai sus.

În acest test, singurul lucru care a fost diferit între cele două campanii a fost timpul dintre fiecare e-mail. În controlul nostru, am avut trei e-mailuri răspândite pe parcursul unei luni. În testul nostru, am redus acel program la 10 zile.

Si ghici ce? Rezultatele au fost cam aceleași.

În esență, am aflat că am putea reduce intervalul de timp al campaniei noastre de e-mail de introducere la aproximativ o treime din lungimea inițială, fără efecte negative. Deci, desigur, acesta a devenit noul nostru standard! Acest lucru nu a ajutat să atragă noi clienți mai repede, dar a făcut și testele noastre viitoare să ruleze mai repede. Și acesta este genul de lucruri care plătesc dividende pe viitor.

Vrei să te distrezi puțin și cu MailChimp? Atunci încercați acest truc de testare automată a campaniei!

Ați încercat să testați campanii automate în MailChimp?

Dacă ați citit această postare în 2016 și ați încercat sfaturile noastre de testare, ne-ar plăcea să aflăm cum ați evoluat. Ai descoperit ceva util, distractiv, interesant?

Dacă încercați acest mic hack pentru prima dată acum, spuneți-ne feedbackul dvs. în comentarii! Ne place să învățăm din experimentele tale.