Cum să analizați rezultatele testelor A/B cu analiza de testare A/B

Ultimul lucru pe care și-l dorește cineva este un fals pozitiv - indiferent de test! Cu optimizarea ratei de conversie (CRO) , un fals pozitiv ar putea duce la o fundătură.

Când efectuați un test A/B , doriți să știți dacă pagina dvs. de test (B) a depășit cu adevărat pagina de control (A) înainte de a petrece timp modificând formulare, pagini sau alte aspecte ale site-ului dvs.

O tehnică de analiză a testării A/B vă va ajuta să determinați dacă testul dvs. a fost semnificativ statistic și dacă aveți un set câștigător de date pe mâini.

Cum știi dacă testul tău A/B a fost semnificativ statistic?

Semnificația statistică înseamnă că puteți repeta testul și puteți primi în mod constant rezultate identice sau similare.

De exemplu, să presupunem că ați modificat plasarea unui buton de îndemn (CTA). Butonul era sub conținutul paginii de destinație, dar ați emis ipoteza că veți primi mai multe clienți potențiali dacă ați plasa butonul în față și în centru. Deci, ați modificat pagina și ați pus butonul deasupra titlului principal.

Apoi, ați testat fosta pagină de destinație - pagina de control - pe 1000 de vizitatori. De acolo, ați testat pagina ajustată pe alți 1000 de vizitatori. După ce v-ați măsurat rezultatele cu un calculator de test A/B, acesta a arătat o creștere cu 25% a clicurilor pe butonul CTA după ce l-ați mutat în sus pe pagină.

Dacă repetați testul de mai multe ori și continuați să primiți o creștere de aproximativ 25% a clicurilor, puteți presupune în mod rezonabil că rezultatele sunt semnificative din punct de vedere statistic. De asemenea, puteți presupune că modificarea plasării butonului CTA a fost cauza schimbării.

Cum îți analizezi testul A/B?

Deși calculatoarele A/B nu sunt sfârșitul analizei de testare A/B, ele vă ajută să înțelegeți datele pe care le colectați.

Să presupunem că deții o afacere mică. Numărul mediu de vizitatori ai site-ului variază între 100 și 500 de utilizatori pe săptămână. Ați efectuat un test A/B similar pe butonul CTA al paginii de destinație, dar pe un eșantion de 100 de persoane în loc de 1000.

Rezultatele dvs. constată că 50 din 100 de persoane au făcut clic pe butonul dvs. CTA pentru pagina originală. Pe pagina de testare, 58 de persoane au dat clic pe buton. Deși această creștere poate părea semnificativă pentru dimensiunea eșantionului, conform calculatorului A/B, este o schimbare de doar 16%.

Ce ar trebui să faci înainte de a rula un test A/B?

Înainte de a începe cu scenariul nostru exemplu, iată o rezumat a ceea ce ar trebui să faceți înainte de a colecta orice date.

1. Cunoaște-ți obiectivele

Care sunt indicatorii dumneavoastră cheie de performanță (KPI)? Cu alte cuvinte, ce conversații generează cele mai semnificative rezultate pentru afacerea ta? Acești indicatori ar putea fi orice, de la volumul vânzărilor până la reținerea clienților. Concentrarea asupra schimbărilor orientate către KPI-urile dvs. va conduce la cele mai bune rezultate.

2. Aflați unde vă aflați – și unde doriți să ajungeți

Odată ce știi ce vrei să măsori, află unde te afli în prezent. Este posibil să aveți deja o idee generală dacă ați măsurat clicurile pe anunțuri, numărul de e-mailuri deschise sau câți clienți potențiali completează formularul de contact pe lună.

Aruncă o privire la CRM și Google Analytics pentru a măsura datele așa cum sunt. Datele actuale ar trebui să vă ofere o idee despre îmbunătățirile necesare și realiste.

Cum să știi dacă testul tău este semnificativ statistic (fără a folosi un calculator A/B)

Acum treceți la partea distractivă - analiza testării A/B. După ce ați urmat pașii de mai sus, pe lângă rularea testelor și colectarea datelor, puteți determina dacă rezultatele sunt suficient de semnificative pentru a pune în aplicare schimbarea.

Vestea bună este că puteți folosi în continuare un calculator A/B ca punct de plecare. Din cei 100 de vizitatori ai site-ului web pentru afacerea mică despre care am vorbit mai devreme, a existat o creștere de 16% a clicurilor din cauza mutarii plasării butonului CTA - se presupune că. Acum, de unde știm dacă este adevărat?

1. Reluați testul

Ori de câte ori rulați un test A/B, dacă modificarea nu este semnificativă, veți dori să efectuați din nou testul - de exemplu, dacă rezultatele sunt mai mici decât o diferență de rezultat de 36%.

În general, cel mai bine este să reluați testele A/B, astfel încât să aveți suficiente date pentru a concluziona că rezultatul a fost rezultatul direct al modificării pe care ați făcut-o.

2. Analizați din nou datele

Să presupunem că după această reluare, rezultatul a fost că 60 de persoane din 100 au făcut clic pe butonul CTA al paginii de testare, iar 52 au făcut clic pe pagina originală. Aceasta este o creștere de 15,38%, conform calculatorului.

3. Mai rulați testul încă o dată (și analizați rezultatele)

Acest rezultat este similar cu schimbarea de 15 – 16% a treia oară. Cu toate acestea, înainte de a trece la implementarea modificărilor, testați-vă rezultatele încă o dată.

Când lucrați cu o dimensiune mai mică a eșantionului, este dificil să știți dacă schimbarea consecventă este o coincidență sau nu. De obicei, cu cât dimensiunea eșantionului este mai mare, cu atât aveți mai multă putere statistică.

4. Rulați un alt test A/B — testând pagina de control față de ea însăși

Din punct de vedere tehnic, o evaluare ca aceasta ar fi considerată un test A/A. Testați-vă pagina de control pe un set de 100 de vizitatori și testați aceeași pagină pe un alt set de 100 de vizitatori. Puteți face acest lucru înainte sau după testarea unei modificări.

Variația naturală a clicurilor pe CTA fără modificări implementate nu trebuie să depășească o diferență de 2%. Acest interval ține seama de fluctuația naturală a clicurilor pe care le primește pagina ta. Orice modificare care depășește acest interval poate fi presupusă în mod rezonabil ca fiind semnificativă.

Acum că aveți suficiente date, este timpul să vedeți dacă bifează trei casete. Determinați dacă datele sunt:

• Suficient: Da, am rulat testul de trei ori.
• Consecvent: Da, am primit un rezultat similar de trei ori.
• Diferențiat: da, ne-am testat pagina de control față de ea însăși și am observat că schimbările naturale au scăzut între -2 și 2%, ceea ce înseamnă că creșterea constantă de 15% a clicurilor pentru pagina noastră de testare a fost semnificativă.

Pe baza acestor rezultate, putem determina că datele sunt semnificative statistic. De asemenea, putem presupune în mod rezonabil că modificarea plasării butonului CTA a fost cauza creșterii clicurilor.

WebFX este un partener în care afacerile au încredere.

Ascultați de la HydroWorx, care a înregistrat o creștere cu 236% a sesiunilor organice cu serviciile WebFX.

Urmăriți mărturia video

Partener cu WebFX pentru analiza de testare A/B

După cum puteți vedea, analiza testării A/B poate fi o sarcină descurajantă, mai ales dacă nu sunteți sigur ce schimbări vor conduce la cele mai bune rezultate. Echipa noastră de peste 500 de experți în domeniu de la WebFX utilizează strategii SEO bazate pe date pentru a crea pagini de destinație de impact cu serviciile noastre de testare A/B. Am generat venituri de peste 3 miliarde USD pentru clienții noștri și suntem gata să ducem pagina ta de destinație la următorul nivel.

Contactați-ne online sau sunați-ne la 888-601-5359 pentru a vorbi astăzi cu un strateg!