Testarea Bayesian A/B: un model de raționament puternic

Testarea A/B merge mână în mână cu strategia CRO a fiecărui agent de marketing. Fiind un marketer sau un practician CRO, nu puteți subestima valoarea îmbrățișării unei culturi a experimentării în organizația dvs. Cu toate acestea, găsirea unei variante optime pentru a obține conversii mai mari a rămas o provocare persistentă pentru companiile online.

În forma sa clasică, testarea A/B funcționează ca un model binar - o ipoteză nulă care trebuie respinsă pentru a accepta ipoteza alternativă. Datorită procesului complicat de a obține informații dintr-un experiment și de a lua decizii de afaceri cruciale pe baza acestora, practicienii CRO au adoptat modelul mai credibil și mai intuitiv față de cel clasic Frequentist. Este modelul bayesian.

Modelul bayesian demonstrează dovezile raționamentului din spatele unui experiment pe care îl derulați. În această postare pe blog, am explorat modelul bayesian în detaliu, l-am comparat cu abordarea clasică frecventistă și am discutat cazurile de utilizare ale acestuia.

Ce este abordarea bayesiană?

Raționamentul bayesian este în mod fundamental o abordare bazată pe credințe, bazată pe teorema lui Bayes. Teorema prezintă un cadru matematic pentru a vă actualiza convingerile existente cu afluxul de noi informații.

Iată un exemplu pentru tine. Un medic poate diagnostica o problemă medicală la un pacient urmând oricare dintre abordări. În calitate de frecventist, ar avea un model fix stabilit în funcție de simptomele specifice ale pacientului pentru diagnosticul său. El poate sonda pacientul pentru ele și poate identifica cauza pe baza modelului fix pe care îl are în vigoare.

Dimpotrivă, ca bayesian, doctorul ar avea totuși un model. El ar sonda pacientul pentru măsurarea stării sale și identificarea simptomelor și, în plus, ar dori să cunoască istoricul oricăror dureri din trecut la pacient . Prin urmare, diagnosticul său va include simptomele actuale și simptomele istorice în identificarea cauzei reale. Această abordare va actualiza modelul său existent cu informații noi, ceea ce poate duce la inovare mai rapidă, fără costuri suplimentare, timp sau energie cheltuită în procesul de diagnosticare.

Un exemplu de la StackExchange face acest concept și mai simplu.

Să presupunem că ți-ai pierdut telefonul și, din moment ce acest lucru se întâmplă tot timpul, ți-ai găsit un localizator de telefon. Telefonul are un instrument atașat la bază, care îi semnalează să înceapă să sune când apăsați un buton de pe locatorul telefonului. Problema este, de unde ar trebui să începi căutarea în casă?

Dacă sunteți frecventist, modelul dvs. încorporat ar identifica zona pe baza direcției sunetului bipurilor. Astfel, vei alerga după bipuri pentru a găsi locația dispozitivului în casă.

Cu toate acestea, ca Bayesian, ți-ai aminti locațiile în care l-ai găsit ultima dată când a dispărut. L-ai găsit pe placa din bucătărie sau îngropat sub rufe? Veți avea motive pentru a pune telefonul în acele locuri. În afară de sunetul bipurilor, reamintirea acestor informații va acționa ca un prealabil care vă poate ajuta să luați o decizie bazată pe dovezi. În acest caz, se va da seama de unde să înceapă căutarea.

Aspectul critic al gândirii bayesiene este că vă permite să explorați credințele preexistente (precedente) în timpul cercetării dvs., iar aceste credințe sunt actualizate cu date dovezi care au ca rezultat noi credințe (posterioare).

În contextul testării A/B, de ce este abordarea bayesiană mai benefică decât Frequentist?

Puteți auzi un frecventist, căruia nu-i place să vorbească despre evenimente unice, murmurând: „Am ajuns corect la adevăr?”. Dimpotrivă, un Bayesian, căruia îi pasă mai mult de actualizarea opiniei bazate pe date decât de găsirea adevărului suprem, poate fi auzit declarând cu voce tare: „Nu știu care este adevărul, dar cred că opinia mea inițială s-ar schimba acum, deoarece Am o nouă informație cu mine!” Destul de încrezător? Ei bine, da!

Am efectuat un test A/B folosind VWO pentru a verifica dacă un banner care apare pe intenția de ieșire a vizitatorilor poate crește generarea de clienți potențiali pe blogul nostru. Privind-o prin lentila bayesiană, vedem un grad diferit de încredere în toate ratele de conversie posibile în reprezentarea grafică. Am ajuns la concluzia că controlul (fără banner) este câștigătorul și, de asemenea, a existat o suprapunere a ratei de conversie între 0,25% și 0,6%.

Pe de altă parte, abordarea Frequentistă a returnat un p = 0,042, concluzionand de asemenea că controlul este câștigător.

Abordarea Frequentistă este fermă în a ajunge la un număr semnificativ de vizitatori pentru a returna o valoare p , care este greu de pus într-un context de afaceri. Ce poți discerne cu un p = 0,042 aici? Este posibil să vă lase confuz.

În calitate de marketer sau de lider de creștere, ați dori ca instrumentul dvs. să facă treaba grea atunci când vine vorba de statistici și să vă ofere rezultate care vă ajută să luați decizii de afaceri bune.

Bayesian oferă o modalitate mai sensibilă și mai intuitivă de a vă optimiza eforturile CRO. Vă actualizează opiniile susținute de dovezi atunci când deduceți predicția și induceți învățarea în ciclul de experiment cu o actualizare a cunoștințelor, așa cum se arată în imaginea de mai jos.

VWO SmartStats – modul Bayesian

VWO merge pe calea Bayesiană cu SmartStats, un motor de statistici alimentat de Bayesian pentru testarea A/B. Acest motor vă oferă rezultate inteligente pentru a lua decizii de afaceri mai inteligente și vă reduce timpul de testare.

Abordarea bayesiană vă permite să încorporați cunoștințele în experimentele dvs. în mod iterativ. SmartStats catalizează această abordare folosind un prealabil non-informativ în care toate posibilitățile de rată de conversie sunt la fel de probabile. În plus, vă asigură că veți păstra controlul și că puteți monitoriza testul pe măsură ce progresează și își atinge semnificația pe o perioadă de timp înainte de a se încheie.

Să revenim la exemplul de banner cu intenția de ieșire discutat în blog. Pentru test, am observat că distribuțiile au fost mai largi inițial. Cu toate acestea, așa cum se arată mai jos, vă puteți da seama că au început să se micșoreze cu mai multe date.
Probabilitatea de a depăși linia de bază la începutul testului a fost aproape de 50%, dar pe măsură ce testul a progresat, acesta a atins o încredere de 95% după ce a ajuns la 1000 de vizitatori, declarând controlul câștigător.

Dacă te uiți la progresul acestui experiment în ceea ce privește timpul și traficul, arăta astfel cu cel mai mic număr de vizitatori, arătând variația în frunte (nesemnificativ):

Și asta cu ~1000 de vizitatori, variația scăzând brusc și controlul se extinde:

Graficul final care declară controlul drept câștigător:

Cum permite testarea Bayesian A/B o inovație mai rapidă?

Având capacitatea de a încorpora credința ca parte a experimentului, abordarea bayesiană vă permite să luați decizii mai rapide, cu costuri de experimentare mai mici în comparație cu o abordare frecventistă.

Este obișnuit să folosiți o abordare bayesiană în care desfășurarea unui experiment este mai costisitoare și nu aveți suficiente date pentru a lua o decizie, fie că este un test de diagnosticare medicală pentru a discerne probabilitatea de a avea cancer sau e-mailul să fie spam.

De asemenea, abordarea bayesiană vă permite să hrăniți o parte posterioră a unui experiment ca înaintea altuia. Prin urmare, un instrument de testare A/B bazat pe acest model vă permite să optimizați în mod constant și rapid experimentele pentru conversii. Nu trebuie să învățați date noi din experimentul dvs. de fiecare dată, ci, în schimb, alimentați ulterior (a se citi: actualizare) la o anterioară, în mod iterativ, pentru a determina îmbunătățirea semnificativă cu mai puține date.

Cu experimentul banner cu intenția de ieșire, discutat pe larg în blog, am luat o decizie rapidă privind progresul testului de îndată ce acesta și-a atins semnificația. Am făcut acest lucru pentru a atenua pierderea valorii de oportunitate care a fost MQL-urile în acest caz. Testul s-a încheiat cu observația că un banner cu intenția de ieșire nu funcționează pe blogul nostru. Această observație poate acționa ca dovezi susținute de date (posterioare) pentru a fi furnizate înainte de experimentele noastre ulterioare în jurul blogurilor.

Așa că nu așteptați. Faceți un pas, eșuați rapid, învățați eficient și creșteți exponențial cu testarea A/B iterativă care promite oportunități de inovare în afacerea dvs. pentru a asista la conversii astronomice.