Cum să vă pregătiți pentru succesul testării A/B

Un lucru care îmi place la e-mail sunt datele. Deoarece este atât de ușor disponibil, este ușor să rulați teste împărțite și să vedeți performanța e-mailului în timp real. De multe ori mă veți găsi studiind foile de calcul și reîmprospătând constant date, de parcă aș fi urmărit o cursă strânsă.

Dar nimic din toate acestea nu contează dacă testarea A/B nu este configurată corect.

Fără o bază solidă, rezultatele testelor dvs. A/B nu sunt de încredere și vă pot conduce în direcția greșită. Și asta te poate costa în implicare, conversii și, în cele din urmă, în abonați și clienți. Așadar, înainte de a vă gândi la următorul test, asigurați-vă că sunteți pregătit pentru succes pentru a obține informațiile de care aveți nevoie pentru a vă conduce strategia de marketing.

Și cine mai bine să vorbească despre testarea A/B decât expertul nostru rezident în testare și managerul senior de creștere, John Kim? John rulează majoritatea testelor de conversie pe site-ul nostru web și m-a învățat destul de mult să-mi perfecționez propriile abilități. Și acum vei putea să înveți și de la el.

Care sunt lucrurile cheie pe care trebuie să le faci pentru a rula un test A/B de succes?

Indiferent de locul în care testați (de exemplu, e-mail, site web, în ​​aplicație sau anunț plătit), elementele de bază rămân aceleași. Obțineți-le corect și sunteți pe drumul spre rezultate în care puteți avea încredere și asupra cărora puteți lua măsuri.

Află ce testezi

Înainte de a executa testul A/B, este esențial să înțelegeți exact ce intenționați să testați. La Litmus, avem o serie de criterii pe care le documentăm pentru fiecare test A/B pentru a ne asigura că ne maximizăm șansele de succes și de învățare.

Ipoteză

Poate cel mai vital element al testului dvs. A/B — o ipoteză bună — este un răspuns la o problemă pe care încercați să o rezolvați.

Ipoteza dvs. ar trebui să fie clară, concentrată și făcută cu unele dovezi subiacente sau limitate. Mai simplu, este o presupunere educată a modului în care ați putea rezolva o problemă complexă de afaceri. Este important ca ipoteza dvs. să fie clar definită, deoarece experimentul dvs. va fi conceput pentru a o testa.

Începeți să vă scrieți ipoteza! În cazul nostru, acestea sunt adesea scrise folosind o declarație dacă-atunci .

Exemplu: dacă schimbăm culoarea standard a butonului în portocaliu în loc de verde, vom observa o creștere a numărului de clicuri.

Poartă

Următorul element pe care ne place să-l documentăm înainte de a rula orice experiment este scopul experimentului. Până la urmă, ce încerci să realizezi pentru afacerea ta?

Fii clar ce înseamnă succesul pentru tine.

Exemplu: obiectivul nostru este să creștem numărul de clicuri pe buton pentru a crește, la rândul său, conversiile pe pagina următoare, rezultând fie înscrieri de probă mai mari, fie activări în general.

Metrici

Înainte de a derula experimentul, este important să știți ce veți monitoriza pentru valorile dvs. principale. Având în vedere ipoteza și obiectivul dvs., fiți clar care sunt una sau două valori pe care le veți folosi pentru a determina succesul când vine vorba de obiectivele dvs. declarate anterior.

Acest pas este important deoarece veți dori să vă asigurați că:

1. Aflați ce valori sunt importante pentru dvs
2. Aveți capacitatea de a monitoriza și de a atribui acea activitate înapoi unui anumit utilizator și cohortă (audiențele dvs. de testare și control sunt luate din publicul dvs. general).
3. Înțelegeți-vă valorile secundare.. Pe lângă valorile principale, este important să monitorizați modul în care utilizatorii interacționează cu restul experienței dvs.

Balustrade

Diferite moduri în care orice test poate afecta afacerea dvs. pot fi o surpriză.

Ceea ce facem în acest pas este să documentăm toate valorile și canalele pe care următorul test A/B le-ar putea afecta pozitiv sau negativ.

Este important să parcurgem acest exercițiu pentru a putea:

1. Minimizați surprizele pentru orice test dat
2. Cântărește (cât mai bine posibil) beneficiile potențiale în raport cu riscurile/balustradele.

Echipa noastră depune un efort semnificativ în pregătirea pentru teste. Intrăm în fiecare test cu așteptări realiste, praguri pentru succes și eșec și suntem pregătiți pentru o multitudine de rezultate.

Accesați valorile e-mail nu atât de tipice în Litmus Analytics Valorile standard de e-mail, cum ar fi rata de deschidere, rata de clic, rata de dezabonare și multe altele, vă pot spune atât de multe. Înțelegeți cum interacționează publicul cu e-mailurile dvs. cu detalii precum clientul de e-mail, rata de citire și multe altele. Obțineți mai multe date de e-mail →

Împărțiți testul și urmărirea

Testarea A/B sau testarea divizată este o caracteristică disponibilă pe scară largă și oferită cu majoritatea furnizorilor de servicii de e-mail (ESP) și platformelor de automatizare de marketing. Dacă doriți să efectuați teste pe site-ul dvs. de marketing sau pe aplicația dvs., instrumente precum VWO sau Optimizely oferă și soluții.

Când vine vorba de selectarea publicului dvs., determinați numărul de persoane de care aveți nevoie din audiența dvs. pentru a participa la testul general pentru a stabili semnificația statistică sau probabilitatea ca diferența de rate de conversie dintre grupul A și grupul B să nu se datoreze unei șanse aleatorii . Dacă aveți o audiență suficient de mare, veți dori să împodobiți o parte din publicul general pentru a împărți 50/50 în aceste grupuri. Aici, la Litmus, am întâlnit diverse instrumente de-a lungul anilor pentru a vă ajuta. Unul dintre preferatele noastre este calculatorul de testare A/B al lui Neil Patel.

Odată ce ați determinat câți oameni trebuie să fie în audiența dvs. de testare, jumătate din acesta nu ar trebui să aibă nicio modificare aplicată experienței lor. Acest grup va fi grupul dvs. de control. Pe cât posibil, experiența lor ar trebui să semene îndeaproape cu ceea ce considerați a fi experiența dvs. de bază sau tipică. Cealaltă jumătate a audienței dvs. va fi cohorta dvs. de variante. Pentru utilizatorii din acest grup, aplicați tratamentul de testare.

Testele A/B sunt de obicei analizate la nivel de cohortă. Semnificație - evaluăm dacă cohorta care a primit experiența de tratament s-a convertit semnificativ diferit față de cohorta de control.

Este esențial ca plasarea unui membru al publicului într-o anumită cohortă să fie aleatorie și ca fiecare persoană să primească doar un singur tratament. Dacă ar fi să luăm în considerare componența fiecăreia dintre cohorte (test și control), dorim să ne asigurăm că nu introducem nicio părtinire față de o anumită caracteristică demografică, firmografică sau orice altă caracteristică a utilizatorului pentru o singură cohortă. Randomizarea cohortelor și a avea mai puține variante asigură mai bine că cohortele reprezintă o selecție aleatorie a publicului dvs.

Încheierea

Testarea A/B nu trebuie să fie dificilă, dar dacă nu le configurați corect, informațiile pe care le obțineți din ele nu vor însemna mare lucru. Înțelegerea elementelor fundamentale pe care le-am explorat aici vă va pregăti pentru succes, astfel încât să vă puteți aplica învățările în întreaga strategie de marketing. Amintiți-vă, faceți un pas înapoi pentru a vă gândi la fiecare element și veți fi pe drumul cel bun. Rămâneți la curent cu blogul nostru despre testarea A/B de marketing prin e-mail, unde ne vom aprofunda în testarea canalului nostru preferat.

Mai multe date. Mai multe perspective. Obțineți mai multe date de e-mail - mai multe informații - atunci când depășiți valorile standard pentru e-mail. Accesați rata de citire, rata de avans și multe altele cu puterea Litmus Email Analytics, încorporată direct în Litmus Plus. Încercați Litmus Plus gratuit →