Test bayesiano A/B: un potente modello di ragionamento

Il test A/B va di pari passo con la strategia CRO di ogni marketer. Essendo un marketer o un professionista CRO, non puoi sottovalutare il valore di abbracciare una cultura della sperimentazione nella tua organizzazione. Tuttavia, trovare una variazione ottimale per ottenere conversioni più elevate è rimasta una sfida persistente per le aziende online.

Nella sua forma classica, il test A/B funziona come un modello binario, un'ipotesi nulla che deve essere rifiutata per accettare l'ipotesi alternativa. A causa del complicato processo di trarre informazioni da un esperimento e prendere decisioni aziendali cruciali basate su di esse, i professionisti del CRO hanno adottato il modello più credibile e intuitivo rispetto a quello frequentista classico. È il modello bayesiano.

Il modello bayesiano dimostra l'evidenza del ragionamento alla base di un esperimento che esegui. In questo post sul blog, abbiamo esplorato in dettaglio il modello bayesiano, confrontato con il classico approccio frequentista e discusso i suoi casi d'uso.

Qual è l'approccio bayesiano?

Il ragionamento bayesiano è fondamentalmente un approccio basato sulla credenza con il suo fondamento nel teorema di Bayes. Il teorema presenta un quadro matematico per aggiornare le tue convinzioni esistenti con l'afflusso di nuove informazioni.

Ecco un esempio per te. Un medico può diagnosticare un problema medico in un paziente seguendo uno degli approcci. In quanto frequentista, avrebbe un modello fisso impostato rispetto ai sintomi specifici di un paziente per la sua diagnosi. Può sondare il paziente per individuarli e identificare la causa in base al modello fisso che ha in atto.

Al contrario, come bayesiano, il dottore avrebbe ancora un modello. Avrebbe sondato il paziente per valutare le sue condizioni e identificare i sintomi e, inoltre, vorrebbe conoscere la storia di eventuali dolori passati nel paziente . Quindi, la sua diagnosi includerà i sintomi attuali e i sintomi storici nell'identificazione della causa reale. Questo approccio aggiornerà il suo modello esistente con nuove informazioni, che possono portare a un'innovazione più rapida senza costi aggiuntivi, tempo o energia spesi nel processo di diagnosi.

Un esempio di StackExchange rende questo concetto ancora più semplice.

Supponiamo di aver smarrito il telefono e, poiché ciò accade continuamente, ti sei procurato un localizzatore telefonico. Il telefono ha uno strumento collegato alla base, che segnala che inizia a emettere un segnale acustico quando si preme un pulsante sul localizzatore del telefono. Il problema è, da dove dovresti iniziare la tua ricerca in casa?

Se sei un frequentista, il tuo modello integrato identificherebbe l'area in base alla direzione del suono dei segnali acustici. Pertanto, correrai dopo i segnali acustici per trovare la posizione del dispositivo in casa.

Eppure, come bayesiano, ricorderesti i luoghi in cui l'hai trovato l'ultima volta che è scomparso. L'hai trovato sulla lastra della cucina o sepolto sotto il bucato? Avrai ragioni per mettere il telefono in quei posti. A parte il suono dei segnali acustici, il richiamo di queste informazioni fungerà da priorità che può aiutarti a prendere una decisione basata sull'evidenza. In questo caso, scoprirà da dove iniziare la ricerca.

L'aspetto critico del pensiero bayesiano è che ti consente di esplorare le convinzioni preesistenti (priori) durante la tua ricerca e queste convinzioni vengono aggiornate con dati di prova che sfociano in nuove convinzioni (posteriori).

Nel contesto del test A/B, perché l'approccio bayesiano è più vantaggioso del frequentista?

Puoi sentire un frequentista, a cui non piace parlare di eventi accaduti, mormorare: "Sono arrivato alla verità correttamente?". Al contrario, un bayesiano, che si preoccupa più di aggiornare l'opinione sulla base dei dati che di trovare la verità ultima, può essere ascoltato ad alta voce dichiarando: "Non so quale sia la verità, ma credo che la mia opinione iniziale cambierebbe ora poiché Ho una nuova informazione con me!” Abbastanza sicuro di sé? Beh si!

Abbiamo eseguito un test A/B utilizzando VWO per verificare se un banner che appare sull'intento di uscita dei visitatori può aumentare la generazione di lead sul nostro blog. Guardandolo attraverso la lente bayesiana, vediamo un diverso grado di fiducia in tutti i possibili tassi di conversione nella rappresentazione grafica. Abbiamo concluso che il controllo (nessun banner) è il vincitore e inoltre si è verificata una sovrapposizione nel tasso di conversione tra lo 0,25% e lo 0,6%.

D'altra parte, l'approccio frequentista ha restituito un p =0,042, concludendo anche che il controllo è il vincitore.

L'approccio frequentista è risoluto nel raggiungere un numero significativo di visitatori per restituire un valore p , difficile da inserire in un contesto aziendale. Cosa puoi discernere con un p = 0,042 qui? È probabile che ti lasci confuso.

Come marketer o leader della crescita, vorresti che il tuo strumento facesse il lavoro pesante quando si tratta di statistiche e ti fornisse risultati che ti aiutano a prendere buone decisioni aziendali.

Bayesiano fornisce un modo più sensato e intuitivo per ottimizzare i tuoi sforzi CRO. Aggiorna le tue opinioni supportate da prove quando deduci la tua previsione e induci l'apprendimento nel ciclo dell'esperimento con un aggiornamento delle conoscenze, come mostrato nell'immagine qui sotto.

VWO SmartStats: il metodo bayesiano

VWO segue la strada bayesiana con SmartStats, un motore statistico bayesiano per i test A/B. Questo motore fornisce risultati intelligenti per prendere decisioni aziendali più intelligenti e riduce i tempi di test.

L'approccio bayesiano ti consente di incorporare la conoscenza nei tuoi esperimenti in modo iterativo. SmartStats catalizza questo approccio utilizzando un priore non informativo in cui tutte le possibilità di tasso di conversione sono ugualmente probabili. Inoltre, ti assicura di mantenere il controllo e puoi monitorare il test mentre avanza e raggiunge il suo significato per un periodo di tempo prima che si concluda.

Torniamo all'esempio di banner exit-intent discusso nel blog. Per il test, abbiamo osservato che le distribuzioni erano inizialmente più ampie. Tuttavia, come mostrato di seguito, puoi capire che hanno iniziato a ridursi con più dati.
La probabilità di battere la linea di base durante l'inizio del test era vicina al 50%, ma con il progredire del test ha raggiunto il 95% di confidenza dopo aver raggiunto 1000 visitatori, dichiarando il controllo vincitore.

Se osservi lo stato di avanzamento di questo esperimento rispetto al tempo e al traffico, si presentava così con il numero più basso di visitatori, mostrando una variazione che precede (in modo non significativo):

E questo con circa 1000 visitatori, variazione in forte calo e controllo in espansione:

Il grafico finale che dichiara il controllo come vincitore:

In che modo i test bayesiani A/B consentono un'innovazione più rapida?

Con la capacità di incorporare le credenze come parte dell'esperimento, l'approccio bayesiano consente di prendere decisioni più rapide con costi di sperimentazione inferiori rispetto a un approccio frequentista.

È comune utilizzare un approccio bayesiano in cui eseguire un esperimento è più costoso e non si dispone di dati sufficienti per prendere una decisione, sia che si tratti di un test diagnostico medico per discernere la probabilità di avere un cancro o che l'e-mail sia spam.

Inoltre, l'approccio bayesiano consente di alimentare una parte posteriore di un esperimento come prima di un altro. Pertanto, uno strumento di test A/B basato su questo modello ti consente di ottimizzare in modo coerente e rapido i tuoi esperimenti per le conversioni. Non devi imparare nuovi dati dal tuo esperimento ogni volta, invece, alimenta il post (leggi: aggiornamento) a un precedente, in modo iterativo, per determinare in modo significativo il miglioramento con meno dati.

Con l'esperimento del banner exit-intent, ampiamente discusso nel blog, abbiamo preso una rapida decisione guardando lo stato di avanzamento del test non appena ha raggiunto il suo significato. Lo abbiamo fatto per mitigare la perdita della metrica di opportunità che in questo caso era MQL. Il test si è concluso con l'osservazione che un banner exit-intent non funziona sul nostro blog. Questa osservazione può fungere da prova supportata dai dati (posteriore) da alimentare come prima dei nostri successivi esperimenti sui blog.

Quindi non aspettare. Fai un tuffo, fallisci velocemente, impara in modo efficace e cresci in modo esponenziale con i test A/B iterativi che promettono opportunità di innovazione nella tua azienda per assistere a conversioni astronomiche.