Come analizzare i risultati del test A/B con l'analisi del test A/B

L'ultima cosa che qualcuno vuole è un falso positivo, indipendentemente dal test! Con l'ottimizzazione del tasso di conversione (CRO) , un falso positivo potrebbe portare a un vicolo cieco.

Quando conduci un test A/B , vuoi sapere se la tua pagina di test (B) ha davvero superato la tua pagina di controllo (A) prima di dedicare tempo a modificare moduli, pagine o altri aspetti del tuo sito.

Una tecnica di analisi del test A/B ti aiuterà a determinare se il tuo test è stato statisticamente significativo e se hai una serie vincente di dati tra le mani.

Come fai a sapere se il tuo test A/B è stato statisticamente significativo?

La significatività statistica significa che puoi ripetere il test e ricevere costantemente gli stessi risultati o risultati simili.

Ad esempio, supponiamo che tu abbia modificato il posizionamento di un pulsante di invito all'azione (CTA). Il pulsante si trovava sotto il contenuto della tua pagina di destinazione, ma hai ipotizzato che avresti ricevuto più lead se lo avessi posizionato davanti e al centro. Quindi, hai ottimizzato la pagina e hai messo il pulsante sopra il titolo principale.

Successivamente, hai testato la pagina di destinazione precedente, la pagina di controllo, su 1000 visitatori. Da lì, hai testato la pagina ottimizzata su altri 1000 visitatori. Dopo aver misurato i risultati con un calcolatore di test A/B, ha mostrato un aumento del 25% dei clic sul pulsante CTA dopo averlo spostato in alto nella pagina.

Se ripeti il ​​test più di una volta e continui a ricevere un aumento di circa il 25% dei clic, puoi ragionevolmente presumere che i tuoi risultati siano statisticamente significativi. Puoi anche presumere che la posizione modificata del pulsante CTA sia stata la causa del cambiamento.

Come analizzi il tuo test A/B?

Sebbene i calcolatori A/B non siano la fine dell'analisi dei test A/B, ti aiutano a dare un senso ai dati che raccogli.

Diciamo che possiedi una piccola impresa. Il numero medio di visitatori del sito varia da 100 a 500 utenti a settimana. Hai eseguito un test A/B simile sul pulsante CTA della tua pagina di destinazione, ma su un campione di 100 persone anziché 1000.

I tuoi risultati rilevano che 50 persone su 100 hanno fatto clic sul pulsante CTA per la pagina originale. Nella pagina di test, 58 persone hanno cliccato sul pulsante. Sebbene questo aumento possa sembrare significativo per la dimensione del campione, secondo il calcolatore A/B, si tratta di una variazione di appena il 16%.

Cosa dovresti fare prima di eseguire un test A/B?

Prima di iniziare con il nostro scenario di esempio, ecco una carrellata di cosa dovresti fare prima di raccogliere dati.

1. Conosci i tuoi obiettivi

Quali sono i tuoi indicatori chiave di prestazione (KPI)? In altre parole, quali conversazioni generano i risultati più significativi per la tua azienda? Questi indicatori potrebbero essere qualsiasi cosa, dal volume delle vendite alla fidelizzazione dei clienti. Concentrarsi sui cambiamenti orientati ai tuoi KPI porterà i migliori risultati.

2. Sapere dove sei e dove vuoi andare

Una volta che sai cosa vuoi misurare, scopri dove ti trovi attualmente. Potresti già avere un'idea generale se hai misurato i clic sugli annunci, il numero di e-mail aperte o quanti lead compilano il modulo di contatto al mese.

Dai un'occhiata al tuo CRM e Google Analytics per misurare i dati così come sono. I dati attuali dovrebbero darti un'idea di quali miglioramenti sono necessari e realistici.

Come sapere se il tuo test è statisticamente significativo (senza usare un calcolatore A/B)

Ora passiamo alla parte divertente: l'analisi del test A/B. Dopo aver seguito i passaggi precedenti, oltre a eseguire le prove e raccogliere i dati, è possibile determinare se i risultati sono sufficientemente significativi da attuare il cambiamento.

La buona notizia è che puoi ancora utilizzare un calcolatore A/B come punto di partenza. Dei 100 visitatori del sito Web per la piccola impresa di cui abbiamo parlato in precedenza, c'è stato un aumento del 16% dei clic dovuto allo spostamento del posizionamento del pulsante CTA, presumibilmente. Ora, come facciamo a sapere se è vero?

1. Rieseguire il test

Ogni volta che esegui un test A/B, se la modifica non è significativa, ti consigliamo di eseguire nuovamente il test, ad esempio se i risultati sono inferiori a una differenza del 36% nel risultato.

In generale, è meglio eseguire nuovamente i test A/B in modo da disporre di dati sufficienti per concludere che il risultato è stato il risultato diretto della modifica apportata.

2. Analizzare nuovamente i dati

Diciamo che dopo questa replica, il risultato è stato che 60 persone su 100 hanno fatto clic sul pulsante CTA della pagina di test e 52 hanno fatto clic sulla pagina originale. Questo è un aumento del 15,38%, secondo il calcolatore.

3. Esegui il test ancora una volta (e analizza i risultati)

Questo risultato è simile alla variazione del 15-16 % la terza volta. Tuttavia, prima di passare all'implementazione delle modifiche, verifica i risultati ancora una volta.

Quando lavori con una dimensione del campione più piccola, è difficile sapere se il cambiamento consistente è una coincidenza o meno. In genere, maggiore è la dimensione del campione, maggiore è il potere statistico di cui disponi.

4. Esegui un altro test A/B, testando la tua pagina di controllo su se stessa

Tecnicamente, una valutazione come questa sarebbe considerata un test A/A. Testa la tua pagina di controllo su un set di 100 visitatori e testa la stessa pagina su un diverso set di 100 visitatori. Puoi farlo prima o dopo aver testato una modifica.

La variazione naturale dei clic sul tuo invito all'azione senza alcuna modifica implementata non dovrebbe superare una differenza del 2%. Questo intervallo spiega la naturale fluttuazione dei clic ricevuti dalla tua pagina. Eventuali variazioni che eccedono tale intervallo possono essere ragionevolmente ritenute significative.

Ora che hai dati sufficienti, è il momento di vedere se seleziona tre caselle. Determina se i dati sono:

• Sufficiente: Sì, abbiamo eseguito il test tre volte.
• Coerente: Sì, abbiamo ricevuto un risultato simile tre volte.
• Differenziato: Sì, abbiamo testato la nostra pagina di controllo rispetto a se stessa e abbiamo notato che i cambiamenti naturali sono diminuiti tra il -2 e il 2%, il che significa che il nostro costante aumento del 15% dei clic per la nostra pagina di test è stato significativo.

Sulla base di questi risultati, possiamo determinare che i dati sono statisticamente significativi. Possiamo anche ragionevolmente presumere che la modifica del posizionamento del pulsante CTA sia stata la causa dell'aumento dei clic.

WebFX è una fiducia delle aziende partner.

Ascolta HydroWorx, che ha registrato un aumento del 236% delle sessioni organiche con i servizi WebFX.

Guarda la Video Testimonianza

Collabora con WebFX per l'analisi dei test A/B

Come puoi vedere, l'analisi dei test A/B può essere un compito arduo, soprattutto se non sei sicuro di quali cambiamenti porteranno i migliori risultati. Il nostro team di oltre 500 esperti in materia di WebFX utilizza strategie SEO basate sui dati per creare pagine di destinazione di grande impatto con i nostri servizi di test A/B. Abbiamo generato entrate per oltre 3 miliardi di dollari per i nostri clienti e siamo pronti a portare la tua pagina di destinazione al livello successivo.

Contattaci online o chiamaci al numero 888-601-5359 per parlare oggi stesso con uno stratega!