Quando cercare il massimo locale e globale con il tuo test A/B

Immagina di scalare l'Everest in una fitta nebbia con amnesia. Puoi vedere solo fino alla tua mano tesa. Non sai dove sei o in che direzione andare, solo che devi raggiungere la vetta. Quali sono le probabilità che fai?

Probabilmente quanto è alta la montagna.

Per quanto drammatica sia un'analogia, è stata fatta in riferimento alle fondamenta di un popolare metodo di test A/B. Quel picco è la migliore versione della tua pagina di destinazione post clic e sei confuso, quasi cieco e perso sul lato della montagna della tua pagina corrente.

Quel che è peggio, probabilmente ti è stata consegnata una mappa errata dai tuoi blogger di marketing preferiti. Potresti pensare che stai testando A/B nel modo giusto, che stai andando nella direzione di quel picco. È probabile, tuttavia, che presto ti troverai in un vicolo cieco e non troverai mai la variazione più performante della tua pagina di destinazione post-clic.

Il mito del test A/B che confonde i principianti

Alcuni dei blog di marketing più popolari su Internet continuano a perpetuare un mito di test A/B che condanna i principianti fin dall'inizio. Mi ha vittima anche quando ho iniziato.

"Non cambiare più di un elemento di pagina per test A/B" ho continuato a leggere più e più volte. Non l'ho messo in dubbio perché le fonti erano affidabili e perché soprattutto, beh, aveva senso.

Lo scopo del test A/B è raccogliere dati che è possibile utilizzare per ottimizzare una pagina, un'e-mail, una pubblicità o qualunque cosa tu stia testando. Come potevo sapere cosa ha causato la variazione del tasso di conversione alla conclusione del test se ho effettuato più di una regolazione tra le versioni "A" e "B"? Che tipo di dati sarebbero?

Quindi, ho testato gli elementi uno alla volta: titolo della pagina di destinazione post clic "A" rispetto al titolo della pagina di destinazione post clic "B". Successivamente, è stato il pulsante blu sulla pagina di destinazione post clic "A" rispetto al pulsante verde sulla pagina di destinazione post clic "B". È così che hanno fatto i professionisti, Amazon e Google. Se era abbastanza buono per aziende multimiliardarie, era abbastanza buono per me.

Il problema che ho trascurato, che mi è diventato dolorosamente consapevole mesi dopo, è che non ero Amazon o Google. I loro siti Web generano molto traffico, il che significa che i piccoli aumenti ottenuti da questi frivoli test del colore dei pulsanti possono tradursi in milioni di dollari di entrate.

Per la maggior parte delle persone, tuttavia, sono uno spreco di tempo e risorse. Per la maggior parte delle persone, usare questo metodo di test A/B è come scalare l'Everest in una fitta nebbia con un'amnesia.

L'euristica dell'alpinismo

Nella nostra vita quotidiana, ci sono problemi che incontriamo per i quali la soluzione è chiara. Ma cosa succede quando ti trovi di fronte a un ostacolo sconosciuto e in gran parte unico? Prendi questo labirinto, per esempio:

Non ci sono post sul blog scritti sul modo migliore per navigare in questo particolare labirinto. Il tuo amico (molto probabilmente) non può guidarti attraverso di essa. Non hai una mappa. Allora, come si va da A a B?

La risposta può essere trovata in un programma per computer chiamato "The General Problem Solver", costruito nel 1963 da Newell, Simon e Shaw per studiare l'intelligenza artificiale. La loro ricerca è stata applicata anche alla risoluzione dei problemi umani. Il dottor Russ Dewey spiega:

Newell e Simon hanno definito ogni problema come uno spazio. Ad un'estremità dello spazio c'è il punto di partenza, dall'altra parte c'è la meta. La stessa procedura di problem solving è concepita come un insieme di operazioni per attraversare quello spazio, per arrivare dal punto di partenza allo stato di arrivo, un passo alla volta.

In General Problem Solver, il programma testa varie azioni (che Newell e Simon hanno chiamato operatori) per vedere quale lo porterà più vicino allo stato obiettivo. Un operatore è qualsiasi attività che modifica lo stato del sistema. Il General Problem Solver sceglie sempre l'operazione che sembra avvicinarlo al suo obiettivo. Questa tattica è chiamata alpinismo, perché ricorda la tattica di fare sempre un passo verso la cima di una collina o di una montagna.

Nel labirinto sopra, ogni vicolo cieco è uno "spazio" - un problema che devi superare con "operazioni", che sono azioni che ti avvicinano al tuo obiettivo (passando da "A" a "B").

Quindi, inizi da "A" e segui il percorso che pensi ti porterà a "B" il più veloce. Quando raggiungi un vicolo cieco, torni indietro e provi un percorso alternativo. Ripeti il ​​​​processo finché non hai raggiunto il tuo obiettivo.

Questo è ciò che stai facendo quando esegui test A/B su piccoli elementi. Identifica un problema, ad esempio un pulsante impercettibile. Quindi, ti avvicini al tuo obiettivo di creare la migliore versione della tua pagina di destinazione post-clic (o almeno così pensi) testando quella che ritieni migliore. Se non funziona, ne provi un altro.

Ad un certo punto, tuttavia, raggiungerai un punto di rendimenti decrescenti chiamato "massimo locale".

Il massimo locale e il massimo globale

Il motivo per cui il metodo sopra è chiamato l'euristica "hill-climbing" è perché ha una limitazione importante che può farti grattarti la testa su una collina guardando la vetta della montagna, dove si trova la tua migliore pagina di destinazione post-clic. Il dottor Dewey spiega:

L'arrampicata in collina è una strategia semplice, ma non sempre funziona. Una potenziale trappola è il "problema pedemontano". Se stai selezionando qualsiasi passo ti porti in salita (o in una particolare direzione) potresti finire per salire su una collina che si trova tra te e la montagna, ignorando la procedura molto più efficiente di aggirarla. In altre parole, se vai dritto verso un obiettivo senza flessibilità, potresti pagare un prezzo elevato, sprecare molta energia o causare più lavoro per te stesso senza contribuire all'obiettivo.

In termini di ottimizzazione, questo "pedemontano" è chiamato "massimo locale". È la versione migliore della tua pagina attuale, che quando A/B verrà ulteriormente testata, produrrà rendimenti decrescenti. Il picco della montagna è chiamato il "massimo globale". Questa è la versione migliore della tua pagina di destinazione post clic. Ecco un grafico utile per illustrare:

Iniziando con una singola pagina di destinazione post clic e testando A/B piccoli elementi uno alla volta per migliorarla, ti stai avvicinando a quel massimo locale, ma questo metodo non ti porterà mai alla vetta di quella montagna. Allora, come navighi lì?

Test A/B per raggiungere il massimo globale

In un post sul blog intitolato "Non cadere nella trappola dei test A/B Minutiae", Rand Fishkin di Moz spiega uno scenario frustrante che potrebbe colpire troppo vicino a casa:

Supponiamo che tu trovi una pagina/un concetto di cui sei relativamente soddisfatto e inizi a testare le piccole cose, ottimizzando intorno al minimo locale. Potresti eseguire test per 4-6 mesi, ottenere un miglioramento del 5% nel tasso di conversione complessivo e sentirti abbastanza bene. Fino a quando...

Esegui un'altra grande, nuova idea in un test e migliora ulteriormente. Ora sai che stai sprecando il tuo tempo a ottimizzare e perfezionare una pagina il cui concetto generale non è buono come la nuova, ruvida e non ottimizzata pagina che hai appena testato per la prima volta.

Invece Fishkin, come altri influencer di marketing, consiglia di testare prima le "revisioni" e le "grandi idee" A/B o, in altre parole, testare pagine radicalmente diverse. Di quelle pagine radicalmente diverse, quella che ha le migliori prestazioni è quella che si avvicina di più al massimo globale. Questo è quello che dovresti perfezionare con il test multivariato: pulsante contro pulsante, titolo contro titolo, ecc. Diversi casi di studio supportano questo metodo.

Test A/B per il massimo globale

1. Facebook

Nel 2008, Facebook ha testato un design di navigazione completamente nuovo. Il loro team lo ha spostato dalla sinistra della pagina a un menu a discesa a destra. Tuttavia, in tal modo, hanno reso le app all'interno della navigazione meno visibili agli utenti, il che ha comportato molto meno traffico verso tali app. Dal momento che erano una preziosa fonte di entrate per Facebook, questo era un problema.

Dopo aver tentato di salvare il nuovo design con alcuni trucchi di coinvolgimento, il team di ottimizzazione si è reso conto di aver raggiunto il massimo locale e ha scartato l'intera cosa. Dallo sviluppatore di prodotti Facebook, Adam Mosseri:

Quello che stavamo facendo qui è che stavamo ottimizzando per un massimo locale. All'interno di questo quadro, c'era solo il traffico che potevamo incanalare verso le applicazioni. E ciò di cui avevamo bisogno era un cambiamento strutturale. La nostra premessa era spenta. I nostri interessi ci stavano portando sulla strada sbagliata. Non ce ne rendevamo conto […] stavamo ottimizzando per qualcosa a livello locale, e dovevamo essere un po' dirompenti per uscirne.

2. Moz

Questa pagina di variazione, creata da Conversion Rate Experts per Moz, era sei volte più lunga dell'originale. Presentava più infografiche, un titolo diverso e un video, tra gli altri elementi che non erano nella pagina originale. Ha superato il controllo del 52%.

Se il team avesse lavorato solo per migliorare gli elementi della pagina originale, non avrebbe mai aggiunto il contenuto che ha dimezzato le conversioni. Dai tester:

Nella nostra analisi dell'efficace presentazione faccia a faccia di Rand, abbiamo notato che aveva bisogno di almeno cinque minuti per sostenere il caso del prodotto a pagamento di Moz. La pagina esistente era più simile a un riepilogo di un minuto. Una volta aggiunti gli elementi chiave della presentazione di Rand, la pagina è diventata molto più lunga.

3. Densità del server

La maggior parte dei casi di studio di test A/B che troverai online ha a che fare con l'aspetto delle pagine web. Sono il colore del pulsante rispetto al colore del pulsante o l'immagine rispetto all'immagine e il loro numero cresce ogni giorno. Di conseguenza, la maggior parte delle persone che si immergono nei test A/B presumono che possano essere utilizzati solo per il web design.

Tuttavia, il concetto di test A/B può essere applicato a qualsiasi cosa, incluso il design del prodotto o persino la struttura dei prezzi, come vedrai con questo esempio di Sever Density.

L'azienda, un servizio di monitoraggio di server e siti Web, ha consentito ai propri clienti di pagare in base al numero di server e siti Web necessari per il monitoraggio:

La struttura aveva lo scopo di ampliare la base del cliente, cosa che ha fatto, ma ora le mire del team erano su entrate più elevate. Quindi, hanno testato A/B una revisione completa dei loro prezzi, con un modello confezionato:

La nuova struttura ha effettivamente prodotto meno conversioni, ma il valore di ciascuna è salito alle stelle. Ecco i risultati:

Il valore medio dell'ordine era ora superiore a $ 55 rispetto a quello precedente: $ 19,70. I takeaway ricordano ai tester due cose cruciali:

I test A/B possono essere utilizzati per modifiche di progettazione più che superficiali.
Le conversioni non sono la fine di tutto. A volte meno conversioni ti danno risultati migliori.

Come trovi il massimo globale e locale?

Ricorda: la forza del test A/B è avvicinarsi il più possibile al massimo globale con grandi cambiamenti. Per trovare il massimo locale, è meglio utilizzare invece il test multivariato.

Sei caduto nella trappola di testare rigorosamente un elemento di pagina alla volta? Apporti più modifiche per test per trovare il massimo globale?

Scopri come fornire la personalizzazione degli annunci 1:1 per ogni pubblico che hai con una demo di Instapage Enterprise oggi.