Pengujian A/B Bayesian: Model Penalaran yang Kuat

Pengujian A/B berjalan seiring dengan strategi CRO setiap pemasar. Menjadi seorang pemasar atau praktisi CRO, Anda tidak dapat meremehkan nilai dari merangkul budaya eksperimen dalam organisasi Anda. Namun, menemukan variasi yang optimal untuk mencapai konversi yang lebih tinggi tetap menjadi tantangan yang terus-menerus bagi bisnis online.

Dalam bentuk klasiknya, pengujian A/B beroperasi sebagai model biner—hipotesis nol yang perlu ditolak untuk menerima hipotesis alternatif. Karena proses rumit untuk memperoleh wawasan dari sebuah eksperimen dan mengambil keputusan bisnis penting berdasarkan pada mereka, praktisi CRO telah mengadopsi model yang lebih kredibel dan intuitif daripada model Frequentist klasik. Ini adalah model Bayesian.

Model Bayesian membuktikan bukti alasan di balik eksperimen yang Anda jalankan. Dalam posting blog ini, kami telah menjelajahi model Bayesian secara mendetail, membandingkannya dengan pendekatan Frequentist klasik, dan membahas kasus penggunaannya.

Apa itu pendekatan Bayesian?

Penalaran Bayesian pada dasarnya adalah pendekatan berbasis keyakinan dengan fondasinya dalam teorema Bayes. Teorema ini menyajikan kerangka matematika untuk memperbarui keyakinan Anda yang ada dengan masuknya informasi baru.

Berikut adalah contoh untuk Anda. Seorang dokter dapat mendiagnosis masalah medis pada pasien dengan mengikuti salah satu dari pendekatan tersebut. Sebagai seorang Frequentist, ia akan memiliki model tetap yang dipasang terhadap gejala spesifik pasien untuk diagnosisnya. Dia mungkin menyelidiki pasien untuk mereka dan mengidentifikasi penyebabnya berdasarkan model tetap yang dia miliki.

Sebaliknya, sebagai seorang Bayesian, dokter akan tetap memiliki model. Dia akan memeriksa pasien untuk mengukur kondisinya dan mengidentifikasi gejala, dan sebagai tambahan, dia ingin mengetahui riwayat nyeri masa lalu pada pasien . Oleh karena itu, diagnosisnya akan mencakup gejala saat ini dan gejala historis dalam mengidentifikasi penyebab sebenarnya. Pendekatan ini akan memperbarui model yang ada dengan informasi baru, yang dapat menghasilkan inovasi yang lebih cepat tanpa biaya, waktu, atau energi tambahan yang dihabiskan dalam proses diagnosis.

Contoh dari StackExchange membuat konsep ini lebih sederhana.

Katakanlah Anda salah meletakkan ponsel Anda, dan karena ini selalu terjadi, Anda telah mendapatkan pencari lokasi ponsel sendiri. Ponsel Anda memiliki instrumen yang terpasang pada dasarnya, yang memberi sinyal untuk mulai berbunyi bip saat Anda menekan tombol pada pencari lokasi ponsel. Masalahnya, dari mana Anda harus memulai pencarian di dalam rumah?

Jika Anda seorang Frequentist, model bawaan Anda akan mengidentifikasi area berdasarkan arah bunyi bip. Dengan demikian, Anda akan menjalankan setelah bunyi bip untuk menemukan lokasi perangkat di rumah.

Namun, sebagai seorang Bayesian, Anda akan mengingat lokasi di mana Anda menemukannya terakhir kali hilang. Apakah Anda menemukannya di lempengan dapur atau terkubur di bawah cucian? Anda akan memiliki alasan di balik meletakkan telepon di tempat-tempat itu. Terlepas dari bunyi bip, mengingat informasi ini akan bertindak sebagai pendahuluan yang dapat membantu Anda membuat keputusan berdasarkan bukti. Dalam hal ini, ia akan mencari tahu di mana harus memulai pencarian.

Aspek penting dari pemikiran Bayesian adalah memungkinkan Anda untuk mengeksplorasi keyakinan yang sudah ada sebelumnya (sebelumnya) selama penelitian Anda, dan keyakinan ini diperbarui dengan data bukti yang menghasilkan keyakinan baru (posterior).

Dalam konteks pengujian A/B, mengapa pendekatan Bayesian lebih bermanfaat daripada Frequentist?

Anda dapat mendengar seorang Frequentist, yang tidak suka membicarakan kejadian yang hanya terjadi sekali saja, bergumam— “Apakah saya sampai pada kebenaran dengan benar?”. Sebaliknya, seorang Bayesian, yang lebih peduli untuk memperbarui pendapat berdasarkan data daripada menemukan kebenaran tertinggi, dapat terdengar dengan lantang menyatakan—”Saya tidak tahu apa itu kebenaran, tetapi saya yakin pendapat awal saya akan berubah sekarang karena Saya memiliki informasi baru dengan saya! ” Cukup percaya diri? Baiklah!

Kami menjalankan pengujian A/B menggunakan VWO untuk memeriksa apakah spanduk yang muncul di tujuan keluar pengunjung dapat meningkatkan perolehan prospek di blog kami. Melihatnya melalui lensa Bayesian, kami melihat tingkat kepercayaan yang berbeda-beda dalam semua kemungkinan tingkat konversi dalam representasi grafis. Kami menyimpulkan bahwa kontrol (tanpa spanduk) adalah pemenangnya, dan juga, telah terjadi tumpang tindih dalam rasio konversi antara 0,25% dan 0,6%.

Di sisi lain, pendekatan Frequentist mengembalikan p =0,042, juga menyimpulkan bahwa kontrol adalah pemenangnya.

Pendekatan Frequentist teguh dalam menjangkau sejumlah besar pengunjung untuk mengembalikan nilai- p , yang sulit untuk dimasukkan ke dalam konteks bisnis. Apa yang dapat Anda lihat dengan p =0,042 di sini? Ini mungkin membuat Anda bingung.

Sebagai pemasar atau pemimpin pertumbuhan, Anda ingin alat Anda melakukan tugas berat dalam hal statistik dan memberi Anda hasil yang membantu Anda membuat keputusan bisnis yang baik.

Bayesian menyediakan cara yang lebih masuk akal dan intuitif untuk mengoptimalkan upaya CRO Anda. Ini memperbarui pendapat Anda yang didukung oleh bukti ketika Anda menyimpulkan prediksi Anda dan mendorong pembelajaran dalam siklus eksperimen dengan pembaruan pengetahuan, seperti yang ditunjukkan pada gambar di bawah ini.

VWO SmartStats—cara Bayesian

VWO mengikuti cara Bayesian dengan SmartStats, mesin statistik bertenaga Bayesian untuk pengujian A/B. Mesin ini memberi Anda hasil yang cerdas untuk membuat keputusan bisnis yang lebih cerdas dan mengurangi waktu pengujian Anda.

Pendekatan Bayesian memungkinkan Anda untuk memasukkan pengetahuan ke dalam eksperimen Anda secara berulang. SmartStats mengkatalisasi pendekatan ini menggunakan prior non-informatif di mana semua kemungkinan tingkat konversi memiliki kemungkinan yang sama. Selain itu, ini memastikan bahwa Anda tetap memegang kendali dan dapat memantau tes saat berlangsung dan mencapai signifikansinya selama periode waktu sebelum berakhir.

Mari kembali ke contoh exit-intent banner yang dibahas di blog. Untuk pengujian, kami mengamati bahwa distribusi awalnya lebih luas. Namun, seperti yang ditunjukkan di bawah ini, Anda dapat mengetahui bahwa mereka mulai menyusut dengan lebih banyak data.
Probabilitas untuk mengalahkan baseline selama awal tes mendekati 50%, tetapi saat tes berlangsung, ia mencapai kepercayaan 95% setelah mencapai 1000 pengunjung, menyatakan kontrol sebagai pemenang.

Jika Anda melihat kemajuan eksperimen ini sehubungan dengan waktu dan lalu lintas, terlihat seperti ini dengan jumlah pengunjung terendah, menunjukkan variasi yang memimpin (tidak signifikan):

Dan, ini dengan ~1000 pengunjung, variasi menurun tajam dan kontrol berkembang:

Grafik terakhir yang menyatakan kontrol sebagai pemenang:

Bagaimana pengujian A/B Bayesian memungkinkan inovasi yang lebih cepat?

Dengan kemampuan untuk memasukkan keyakinan sebagai bagian dari eksperimen, pendekatan Bayesian memungkinkan Anda membuat keputusan lebih cepat dengan biaya eksperimen yang lebih rendah dibandingkan dengan pendekatan Frequentist.

Adalah umum untuk menggunakan pendekatan Bayesian di mana menjalankan eksperimen lebih mahal, dan Anda tidak memiliki cukup data untuk membuat keputusan, apakah itu tes diagnostik medis untuk membedakan kemungkinan terkena kanker atau email menjadi spam.

Selain itu, pendekatan Bayesian memungkinkan Anda memasukkan bagian posterior dari satu eksperimen seperti sebelumnya. Oleh karena itu, alat pengujian A/B berdasarkan model ini memungkinkan Anda mengoptimalkan eksperimen untuk konversi secara konsisten dan cepat. Anda tidak perlu mempelajari data baru dari eksperimen Anda setiap saat, sebagai gantinya, masukkan posterior (baca: perbarui) ke sebelumnya, secara berulang, untuk secara signifikan menentukan peningkatan dengan lebih sedikit data.

Dengan eksperimen spanduk niat keluar, yang dibahas secara luas di blog, kami mengambil keputusan cepat dengan melihat kemajuan pengujian segera setelah mencapai signifikansinya. Kami melakukannya untuk mengurangi hilangnya metrik peluang yang merupakan MQL dalam kasus ini. Pengujian diakhiri dengan pengamatan bahwa spanduk niat keluar tidak berfungsi di blog kami. Pengamatan ini dapat bertindak sebagai bukti yang didukung data (posterior) untuk dimasukkan sebelum eksperimen kami selanjutnya di sekitar blog.

Jadi jangan menunggu. Terjun, gagal dengan cepat, belajar secara efektif, dan tumbuh secara eksponensial dengan pengujian A/B berulang yang menjanjikan peluang inovasi dalam bisnis Anda untuk menyaksikan konversi astronomis.