Prediksi hasil tes A/B menggunakan astrologi India kuno

Kami di VWO memiliki misi untuk membantu tim pemasaran dan produk mengurangi waktu dan upaya yang diperlukan untuk mencari tahu apa yang terbaik untuk bisnis mereka dan apa yang tidak. Pada tahun 2010, kami memelopori Editor Visual Do-It-Yourself untuk tim bisnis untuk mengedit halaman web dan membuat variasinya untuk pengujian A/B tanpa melibatkan tim TI. Inovasi itu memangkas upaya untuk meluncurkan pengujian A/B dari minggu ke jam dan industri pengujian A/B tidak pernah sama lagi sejak saat itu.

Namun, seperti yang diketahui oleh siapa pun yang telah menjalankan pengujian A/B, Anda masih harus menunggu selama berminggu-minggu untuk mulai mendapatkan hasil statistik yang signifikan tentang versi mana yang lebih baik.

Kami bertanya-tanya apakah ada cara untuk memotong masa tunggu ini juga. Bukankah akan luar biasa jika ada cara untuk langsung mengetahui versi mana yang akan menang tanpa menunggu berminggu-minggu atau berbulan-bulan sampai datanya tiba?

Bisakah AI membantu?

Arah penelitian pertama yang kami tuju adalah teknologi AI yang berkembang pesat. Anda pasti pernah mendengar tentang jaringan saraf, pembelajaran mesin, dan ilmu data. Bisakah satu teknik seperti itu membantu kita? Jika jaringan saraf dapat mengendarai mobil hari ini, mungkin mereka juga dapat memprediksi versi situs web mana yang lebih baik?

Selama beberapa tahun terakhir, kami mencoba beberapa teknik dan menginvestasikan banyak uang untuk mencoba membuat salah satu teknik AI berfungsi. Kami memang membuat beberapa kemajuan ketika beberapa bulan yang lalu, kami meluncurkan copywriter situs web bertenaga AI yang membantu pemasar membuat judul alternatif baru, CTA, dan deskripsi produk untuk diuji.

Namun, sayangnya, teknik berbasis AI yang serupa tidak memberikan hasil yang memuaskan pada prediksi hasil pengujian A/B. Tampaknya mengendarai mobil, mengalahkan juara dunia Go, dan mendeteksi tumor adalah masalah yang lebih mudah daripada memprediksi desain situs web mana yang akan menjadi pilihan yang lebih baik.

Masukkan IA

Saat kami hampir menyerah pada proyek impian kami, seseorang mengarahkan kami ke gajah di dalam ruangan: astrologi. Reaksi pertama kami adalah segera mengabaikan saran yang tidak masuk akal ini. Kami sekelompok skeptis dan tidak ada tempat untuk pseudosains seperti itu dalam bisnis serius seperti milik kami.

Tapi kami putus asa dan memutuskan untuk memberikan ide yang sama sekali tidak masuk akal ini satu kesempatan terakhir. Kami diberitahu bahwa jutaan orang di seluruh dunia memprediksi segala macam fenomena menggunakan teknik seperti horoskop, atau kartu Tarot. Jika orang menggunakan teknik untuk memprediksi apakah pernikahan mereka akan berhasil atau tidak, tidak bisakah itu digunakan untuk memprediksi apakah versi A lebih baik daripada versi B?

Setelah melihat persamaan biaya-manfaat, kami memutuskan untuk melakukan uji coba kecil. Jika, seperti yang kami prediksi, astrologi tidak berhasil, kami hanya akan kehilangan beberapa investasi dan waktu. Namun, jika berhasil, itu akan mengubah industri pemasaran dan riset pengguna selamanya.
Jadi, dengan sungguh-sungguh kami memulai uji coba. Setelah melakukan penelitian awal tentang teknik astrologi yang paling prediktif, kami memilih Astrologi India (IA). Khususnya, kami memilih astrologi burung beo. Apa yang membuat kami percaya diri adalah bahwa bahkan ada halaman wikipedia di dalamnya.

Dalam astrologi burung beo, seorang peramal memaparkan beberapa pilihan di depan burung beo peliharaan yang dikurung. Ketika burung beo dilepaskan dari kandang, ia memilih salah satu opsi sebagai prediksi. Sederhana dan lugas. Kami sudah menyukainya.

Apa yang kami lakukan untuk pilot kami adalah sebagai berikut:

• Ikuti 100 tes A/B dari database kami di mana ada pemenang yang jelas dan signifikan secara statistik (baik A atau B)
• Cetak tangkapan layar mereka
• Rekrut peramal India dengan burung beo dan minta burung beo memilih di antara pasangan tangkapan layar di 100 uji coba (satu untuk setiap uji A/B)

Hipotesis nol kami adalah bahwa burung beo tidak akan dapat memilih lebih baik daripada peluang acak. Artinya, burung beo harus memilih pemenang yang benar dan yang kalah masing-masing kira-kira dengan peluang 50%.

Namun, yang mengejutkan kami, burung beo memilih pemenang 80 kali dari 100 . Menggunakan kalkulator binomial standar (baik frequentist atau bayesian), Anda akan segera mengetahui bahwa kemungkinan hal itu terjadi mendekati nol. Astrologi India benar-benar berhasil!

Kami jelas ke sesuatu di sini. Kami segera berencana untuk menulis makalah ilmiah tentang ini dan menyerahkan temuan kami di jurnal teratas. Semuanya sangat menarik dan misterius. Bagaimana burung beo mengetahui versi mana yang paling berhasil? Yah, kita tidak tahu itu tetapi seharusnya tidak menghalangi kita untuk menggunakan teknik di dunia nyata (sama seperti kita masih tidak tahu mengapa pembelajaran mendalam sangat efektif pada berbagai jenis masalah tetapi digunakan secara luas) .

Dapatkan akses awal ke prediksi pengujian A/B yang didukung burung beo

Kami secara aktif mencoba untuk menskalakan uji coba dengan tujuan akhir untuk membuatnya tersedia untuk semua bisnis di dunia melalui antarmuka pengguna yang sederhana di dalam VWO atau melalui API. Tantangan utamanya adalah menemukan cukup banyak burung beo dan memastikan kami melakukannya secara etis. Setelah kami melakukannya, bisnis apa pun di dunia akan dapat dengan cepat menyatu pada antarmuka pengguna yang optimal tanpa perlu melakukan pengujian A/B.

Kami memiliki beberapa slot untuk orang yang menginginkan akses awal ke teknologi ini. Jika Anda ingin mencobanya, kirimkan email kepada kami di sini: [email protected]

Tunggu apa?

Yah, bukankah kita mengatakan bahwa kita adalah kelompok yang skeptis? Ternyata tidak ada bukti ilmiah bahwa astrologi bekerja. Selain itu, kami sangat mengutuk pengurungan burung atau hewan apa pun selain penelitian klinis atau medis (bahkan dalam penelitian klinis, kami berharap model komputasi dan fisik semakin menggantikan hewan yang sebenarnya).

Jika Anda senang dengan prospek prediksi hasil pengujian A/B, Anda tidak sendirian. Kami senang dengan hal yang sama dan meskipun astrologi burung beo tidak berhasil, kami berkomitmen untuk terus membuat kemajuan dalam membantu tim bisnis mencapai probabilitas keberhasilan yang lebih tinggi di setiap pengujian A/B mereka.

Setelah meluncurkan copywriter situs web bertenaga AI tahun lalu, kami baru-baru ini meluncurkan prediktor peta panas bertenaga AI. Setelah Anda memasukkan URL halaman web Anda, kami mengambil tangkapan layar dan menggunakan pembelajaran mendalam untuk memprediksi distribusi klik di situs web. Ini dapat membantu Anda menemukan zona mati atau pengganggu yang jelas di situs web Anda bahkan sebelum Anda mengaktifkannya atau menggunakan alat peta panas di dalamnya.

Alat ini gratis untuk digunakan. Jadi jangan ragu untuk mencobanya berkali-kali di banyak situs web.

Kami minta maaf karena memberi Anda harapan bahwa Anda dapat menyingkirkan pengujian A/B, tetapi harap Anda bersenang-senang membaca posnya

Selamat hari April Mop!

Pernah tertawa? Kirimi saya catatan di [email protected]. Saya membaca dan membalas semua email.