6 miti sui test A/B: come questi miti incasinano i tuoi risultati

Il test A/B è divertente. È popolare. Sta diventando più facile da fare.

Tuttavia, se stai facendo un test A/B sbagliato, potresti comunque sprecare un sacco di tempo e risorse.

Anche con la crescente ubiquità dei test A/B, ci sono ancora molti miti sull'argomento, alcuni dei quali abbastanza comuni. Per trarre davvero valore da una determinata tecnica, è importante comprenderla per quello che è, compresi i suoi limiti e capire dove è potente.

Questo articolo illustrerà i miti principali che ho visto sputare più volte nei blog e dai consulenti.

1. A/B Test e ottimizzazione sono la stessa cosa

Questo può sembrare un po' pignolo, ma il test A/B di per sé non aumenta le conversioni. Molti articoli dicono qualcosa sull'effetto di "fare test A/B per aumentare le conversioni", ma questo è semanticamente impreciso.

Il test A/B, altrimenti noto come "esperimento controllato online", è un metodo di ricerca sommativo che ti dice, con dati concreti, in che modo le modifiche apportate a un'interfaccia influiscono sulle metriche chiave.

Cosa significa in termini non accademici? Il test A/B fa parte dell'ottimizzazione, ma l'ottimizzazione comprende una gamma di tecniche più ampia rispetto al solo aspetto della sperimentazione.

Come ha affermato Justin Rondeau, Direttore dell'ottimizzazione presso Digital Marketer, "L'ottimizzazione del tasso di conversione è un processo che utilizza l'analisi e la ricerca dei dati per migliorare l'esperienza del cliente e ottenere il maggior numero di conversioni dal tuo sito web".

L'ottimizzazione riguarda davvero l'apprendimento convalidato. Stai bilanciando un problema di esplorazione/sfruttamento (esplorando per trovare ciò che funziona e sfruttandolo a scopo di lucro quando lo fai) mentre cerchi il percorso ottimale per la crescita del profitto.

2. Dovresti testare tutto

Stavo leggendo un forum su CRO in cui qualcuno chiedeva una particolare scelta di parole in un titolo (penso che fosse "fantastico" o qualcosa del genere), e si chiedevano se fosse stato abusato o meno.

Un "esperto" è intervenuto con un consiglio (parafrasando qui) che non puoi mai sapere con certezza finché non provi ogni altra parola simile ("affascinante", "incredibile", "meraviglioso", ecc.)

Questo è un consiglio sciocco per il 99,95% delle persone.

Tutti hanno sentito la storia di come Google ha testato 41 sfumature di blu. Allo stesso modo, è abbastanza chiaro che un sito come Facebook o Amazon ha teoricamente il traffico per eseguire test come questo.

Ma se gestisci un sito di e-commerce di piccole e medie dimensioni (o SaaS o altro), anche se fai parte di un'azienda molto grande, è quasi sempre una perdita di tempo, risorse e traffico eseguire test come questo.

Perché, potresti chiedere? Perché la priorità è fondamentale.

Tutti possono guardare un sito e vedere dozzine di cose casuali che potrebbero cambiare se lo volessero (informati o meno dai dati). Ma dov'è l'efficienza in questo?

Nella migliore delle ipotesi, stai sprecando traffico su cose che non contano e otterrai costantemente risultati inconcludenti se lo fai (buona fortuna per ottenere supporto continuo dalle parti interessate, se è il caso).

In ogni caso, tuttavia, ti trovi di fronte a un enorme costo opportunità: poiché stai sprecando tempo e risorse in cose che non contano, sei escluso dall'implementazione di modifiche che alterano e migliorano fondamentalmente l'esperienza dell'utente. Le cose che fanno davvero la differenza (e fanno soldi veri).

3. Tutti dovrebbero fare il test A/B

Il test A/B è incredibilmente potente e utile. Nessuno (intelligentemente) discuterà contro questo.

Ma questo non significa che tutti dovrebbero farlo.

In parole povere, se hai meno di 1.000 transazioni (acquisti, iscrizioni, lead, ecc.) Al mese, farai meglio a dedicare i tuoi sforzi ad altre cose. Forse potresti farla franca eseguendo test su circa 500 transazioni per mesi, ma avrai bisogno di grandi aumenti per vedere un effetto.

Molte microimprese, startup e piccole imprese semplicemente non hanno quel volume di transazioni (ancora).

Devi tenere a mente anche i costi. Tutti loro, non solo il costo del software di ottimizzazione come Optimizely. Cose come:

• Ricerca di conversione. Devi capire cosa testare (come menzionato sopra).
• Progettazione del trattamento (wireframing, prototipazione, ecc.).
• Codificare il test.
• QAing il test.

Ora, supponiamo che tu ottenga un aumento dell'8% ed è un valido vincitore. Hai avuto 125 lead a settimana e ora ne hai 135 a settimana. Il ROI c'è? Forse, dipende dal valore del tuo lead. Ma devi tenere conto del tempo, delle risorse e, soprattutto, dei costi opportunità delle tue azioni.

Quindi, quando calcoli le dimensioni del campione necessarie prima di eseguire il test, fai anche i calcoli sul ROI. Quale sarebbe il valore dell'incremento dell'X% in dollari effettivi?

Il tempo è una risorsa preziosa. Potrebbe essere meglio speso altrove rispetto ai test A/B quando sei ancora piccolo, a causa della matematica.

4. Cambia solo un elemento per test A/B

Questo è probabilmente il mito più comunemente passato là fuori. Le intenzioni sono buone, ma è una premessa sbagliata.

Ecco il consiglio: apporta solo una modifica per test, in modo da sapere cosa sta effettivamente facendo la differenza.

Ad esempio, se cambi il titolo, aggiungi qualche prova sociale e cambi il testo e il colore dell'invito all'azione e ottieni un aumento del 25%, come puoi dire cosa ha causato il cambiamento?

È vero; non puoi proprio. Ma mi permetta anche di chiedere (e questo è particolarmente indicato a coloro che non hanno il lusso di siti ad alto traffico), ti interessa davvero?

In un mondo ideale, in particolare, costituito da modifiche iterative che si basano l'una sull'altra, sì, testare una cosa alla volta limita il rumore su un test e ti consente di capire cosa ha causato esattamente il cambiamento.

Inoltre, devi definire la tua unità significativa più piccola (SMU), ed è qui che le cose si fanno un po' capziose. Matt Gershoff, CEO di Conductrics lo ha detto bene, dicendomi:

“Per portare la logica all'estremo, potresti sostenere che cambiare un titolo significa apportare più modifiche poiché stai cambiando più di una parola alla volta.

Quindi dipende da cosa vuoi fare. Ti interessa la formulazione del tuo CTA e vuoi davvero sapere se ha causato un cambiamento o meno? Stai cambiando radicalmente la tua pagina? Il tuo sito?

La SMU dipende dai tuoi obiettivi e, fidati di me, nel mondo reale nessun analista o specialista di ottimizzazione grida "solo una modifica per test!"

Come ha sottolineato il signor Rondeau in questo post, cosa cambieresti su questo sito (nella foto sotto - questa è una vecchia versione del sito tra l'altro)?

Supponiamo anche che questo sito abbia un sacco di traffico e che tu possa eseguire come otto test validi al mese. Se stai facendo un elemento alla volta, da dove inizi? Ci vorrebbe un'eternità per testare l'immagine di sfondo, il colore del carattere, la dimensione del carattere, il logo in alto, le miniature di navigazione, la posizione, le dimensioni, l'ordine, la copia, la copia del corpo, i venditori in movimento, ecc.

Il mio punto qui è questo: non aver paura di raggruppare più modifiche nello stesso test.

5. I test A/B sono migliori (o peggiori) di banditi/MVT/ecc

Di tanto in tanto vedi apparire articoli che sostengono che dovresti "evitare il multivariato (MVT)" perché sono complicati e non producono vittorie, o che i banditi sono inefficienti rispetto ai test A/B - o che sono più efficiente - o altro.

Una buona regola pratica nella vita è che se hai a che fare con una dicotomia, una situazione questo contro quella , probabilmente ti stai preparando. Probabilmente è una falsa dicotomia.

La verità è che il test A/B è migliore in alcune situazioni, dove MVT è la scelta migliore in altre. Stessa cosa con i banditi e gli algoritmi adattivi.

6. Interrompi un test A/B quando raggiunge la significatività

Anche se non diventerò troppo granulare sulle statistiche (puoi leggere tutto ciò che devi sapere in questo post), dire "fermalo alla significatività statistica" è sbagliato, principalmente a causa della natura dell'ambiente online.

È un peccato che questo mito sia molto diffuso e che le conoscenze statistiche nel mondo del marketing siano sorprendentemente contenute.

È anche un evento comune che il tuo strumento di test ti dica che hai raggiunto il significato troppo presto. Quindi non riporre tutta la tua fiducia in quel 95% di significato.

Innanzitutto, precalcola la dimensione del campione e la durata del test. Quindi esegui il test per così tanto tempo. Inoltre, prova per settimane intere (inizia di lunedì? Termina di lunedì). E si consiglia di eseguire il test attraverso più cicli economici per tenere conto dei dati non stazionari (dati che non rimangono gli stessi nel tempo). Ad esempio, una grande vendita di una settimana o un picco di PR potrebbero far perdere i tuoi dati di un bel po'. Anche giorni diversi hanno tassi di conversione diversi molte volte. Forse hai un tasso di conversione del 3% il martedì ma un tasso di conversione dell'1,5% il sabato e forse questa differenza annullerà la tua analisi post-test.

Quindi prova per settimane intere per tenere conto di questi flussi e riflussi. A CXL, consigliamo di eseguire un test per 3-4 settimane.

Quindi considerare una significatività statistica di almeno il 95%.

Conclusione

Il test A/B è incredibilmente potente. È un potente deterrente per il processo decisionale basato sull'istinto e ti mostra cosa i dati dicono che dovresti invece fare.

Il test A/B ti consente di accertare quale pagina post clic sta generando il maggior numero di conversioni. Scopri come fornire la personalizzazione degli annunci 1:1 per ogni pubblico che hai con una demo di personalizzazione di Instapage oggi.