6 Mitos Pengujian A/B: Bagaimana Mitos Ini Merusak Hasil Anda

Pengujian A/B menyenangkan. Ini populer. Ini semakin mudah dilakukan.

Namun, jika Anda salah melakukan pengujian A/B, Anda mungkin masih membuang banyak waktu dan sumber daya.

Bahkan dengan meningkatnya pengujian A/B di mana-mana, masih ada banyak mitos seputar subjek, beberapa di antaranya cukup umum. Untuk benar-benar mendapatkan nilai dari teknik apa pun, penting untuk memahaminya apa adanya — termasuk keterbatasannya dan pemahaman di mana kekuatannya.

Artikel ini akan menguraikan mitos teratas yang telah saya lihat berkali-kali di blog dan oleh konsultan.

1. Pengujian A/B dan pengoptimalan adalah hal yang sama

Ini mungkin tampak agak rewel, tetapi pengujian A/B itu sendiri tidak meningkatkan konversi. Banyak artikel mengatakan sesuatu tentang efek "lakukan pengujian A/B untuk meningkatkan konversi", tetapi ini secara semantik tidak akurat.

Pengujian A/B, atau dikenal sebagai "eksperimen terkontrol online", adalah metode penelitian sumatif yang memberi tahu Anda, dengan data keras, bagaimana perubahan yang Anda buat pada antarmuka memengaruhi metrik utama.

Apa artinya itu dalam istilah non-akademik? Pengujian A/B adalah bagian dari pengoptimalan, tetapi pengoptimalan mencakup teknik yang lebih luas daripada hanya aspek eksperimen.

Seperti yang dikatakan Justin Rondeau, Direktur Pengoptimalan di Digital Marketer, “Pengoptimalan tingkat konversi adalah proses yang menggunakan analisis dan penelitian data untuk meningkatkan pengalaman pelanggan dan memeras konversi terbanyak dari situs web Anda.”

Optimasi benar-benar tentang pembelajaran yang divalidasi. Anda menyeimbangkan masalah eksplorasi/eksploitasi (menjelajah untuk menemukan apa yang berhasil, dan mengeksploitasinya untuk keuntungan ketika Anda melakukannya) saat Anda mencari jalur optimal menuju pertumbuhan laba.

2. Anda harus menguji semuanya

Saya sedang membaca sebuah forum di CRO di mana seseorang bertanya tentang pilihan kata tertentu dalam judul (saya pikir itu "luar biasa" atau sesuatu), dan mereka bertanya-tanya apakah itu terlalu sering digunakan atau tidak.

Seorang "ahli" menimpali dengan nasihat (parafrase di sini) yang Anda tidak akan pernah tahu pasti sampai Anda menguji setiap kata serupa lainnya ("menarik," "luar biasa," "luar biasa," dll.)

Ini adalah nasihat konyol untuk 99,95% orang.

Semua orang telah mendengar cerita tentang bagaimana Google menguji 41 warna biru. Demikian pula, cukup jelas bahwa situs seperti Facebook atau Amazon secara teoritis memiliki lalu lintas untuk menjalankan tes seperti ini.

Tetapi jika Anda menjalankan situs e-commerce kecil hingga menengah (atau SaaS, atau apa pun), bahkan jika Anda adalah bagian dari perusahaan yang sangat besar, hampir selalu membuang waktu, sumber daya, dan lalu lintas untuk menjalankan tes seperti ini.

Mengapa, Anda mungkin bertanya? Karena prioritas adalah kuncinya.

Setiap orang dapat melihat sebuah situs dan melihat lusinan hal acak yang dapat mereka ubah jika mereka mau (baik diinformasikan oleh data atau tidak). Tapi di mana efisiensinya?

Paling-paling, Anda membuang-buang lalu lintas untuk hal-hal yang tidak penting, dan Anda akan secara konsisten mendapatkan hasil yang tidak meyakinkan jika Anda melakukan ini (semoga berhasil mendapatkan dukungan berkelanjutan dari pemangku kepentingan jika itu masalahnya).

Apa pun masalahnya, Anda dihadapkan dengan biaya peluang yang luar biasa: karena Anda membuang waktu dan sumber daya untuk hal-hal yang tidak penting, Anda tidak dapat menerapkan perubahan yang secara mendasar mengubah dan meningkatkan pengalaman pengguna. Hal-hal yang membuat perbedaan nyata (dan menghasilkan uang nyata).

3. Semua orang harus melakukan tes A/B

Pengujian A/B sangat kuat dan berguna. Tidak ada yang akan (secara cerdas) membantah hal itu.

Tapi bukan berarti semua orang harus melakukannya.

Secara kasar, jika Anda memiliki kurang dari 1.000 transaksi (pembelian, pendaftaran, prospek, dll.) per bulan — Anda akan lebih baik melakukan hal lain. Mungkin Anda bisa lolos dengan menjalankan tes sekitar 500 transaksi selama berbulan-bulan — tetapi Anda akan membutuhkan beberapa peningkatan besar untuk melihat efeknya.

Banyak usaha mikro, rintisan, dan usaha kecil yang belum memiliki volume transaksi sebesar itu (belum).

Anda harus mengingat biaya juga. Semuanya, bukan hanya biaya software optimasi seperti Optimizely. Hal-hal seperti:

• Riset konversi. Anda harus mencari tahu apa yang harus diuji (seperti yang disebutkan di atas).
• Merancang perawatan (wireframing, prototyping, dll).
• Mengkodekan tes.
• QAing tes.

Sekarang, katakanlah Anda mendapatkan peningkatan 8%, dan itu adalah pemenang yang valid. Anda memiliki 125 prospek per minggu, dan sekarang Anda memiliki 135 / minggu. Apakah ROI-nya ada? Mungkin — itu tergantung pada nilai prospek Anda. Tetapi Anda harus memperhitungkan waktu, sumber daya, dan yang paling penting, biaya peluang dari tindakan Anda.

Jadi, saat Anda menghitung ukuran sampel yang dibutuhkan sebelum menjalankan pengujian, lakukan perhitungan juga pada ROI. Berapa nilai peningkatan X% dalam dolar sebenarnya?

Waktu adalah sumber daya yang berharga. Mungkin lebih baik dihabiskan di tempat lain daripada pengujian A/B saat Anda masih kecil — karena matematika.

4. Hanya ubah satu elemen per pengujian A/B

Ini mungkin mitos yang paling sering beredar di luar sana. Niatnya bagus, tapi premisnya salah.

Berikut sarannya: Lakukan hanya satu perubahan per tes, jadi Anda tahu apa yang sebenarnya membuat perbedaan.

Misalnya, jika Anda mengubah judul, menambahkan beberapa bukti sosial, dan mengubah teks dan warna ajakan bertindak, dan Anda mendapatkan peningkatan 25%, bagaimana Anda dapat mengetahui apa yang menyebabkan perubahan tersebut?

Itu benar; Anda benar-benar tidak bisa. Tapi izinkan saya juga bertanya (dan ini terutama ditujukan pada mereka yang tidak memiliki kemewahan situs lalu lintas tinggi), apakah Anda benar-benar peduli?

Di dunia yang ideal, khususnya, yang terdiri dari perubahan berulang yang membangun satu sama lain, ya, menguji satu hal pada satu waktu membatasi kebisingan pada pengujian dan memungkinkan Anda memahami apa yang sebenarnya menyebabkan perubahan.

Juga, Anda harus mendefinisikan Unit Makna Terkecil (SMU), dan di sinilah segalanya menjadi sedikit berubah-ubah. Matt Gershoff, CEO Conductrics menjelaskannya dengan baik, memberi tahu saya:

“Untuk mengambil logika secara ekstrem, Anda dapat berargumen bahwa mengubah tajuk utama membuat banyak perubahan karena Anda mengubah lebih dari satu kata pada satu waktu.

Jadi itu tergantung pada apa yang ingin Anda lakukan. Apakah Anda peduli dengan kata-kata CTA Anda dan benar-benar ingin tahu apakah itu menyebabkan perubahan atau tidak? Apakah Anda mengubah halaman Anda secara radikal? Situs Anda?

SMU bergantung pada tujuan Anda, dan percayalah, di dunia nyata, tidak ada analis atau pakar pengoptimalan yang berteriak, “hanya satu perubahan per pengujian!”

Seperti yang ditunjukkan oleh Mr. Rondeau dalam posting ini, satu hal apa yang akan Anda ubah di situs ini (digambarkan di bawah – ini adalah versi lama dari situs ini)?

Mari kita asumsikan situs ini memiliki banyak lalu lintas, dan Anda dapat menjalankan seperti delapan tes yang valid per bulan. Jika Anda melakukan satu elemen pada satu waktu, dari mana Anda mulai? Anda perlu selamanya untuk menguji gambar latar belakang, warna font, ukuran font, logo di bagian atas, thumbnail navigasi, lokasi, ukuran, pesanan, salinan, salinan isi, penjual yang bergerak, dll., dll.

Maksud saya di sini adalah ini: Jangan takut untuk menggabungkan beberapa perubahan dalam tes yang sama.

5. Tes A/B lebih baik (atau lebih buruk) daripada bandit/MVT/dll

Anda melihat artikel muncul dari waktu ke waktu yang menganjurkan bahwa Anda harus "menghindari multivariat (MVT)" karena rumit dan tidak menghasilkan kemenangan, atau bandit tidak efisien dibandingkan dengan pengujian A/B — atau bahwa mereka lebih efisien — atau apa pun.

Aturan praktis yang baik dalam hidup adalah jika Anda menghadapi dikotomi, situasi ini vs. itu , Anda mungkin sedang diatur. Ini mungkin dikotomi yang salah.

Sebenarnya, pengujian A/B lebih baik dalam beberapa situasi, di mana MVT adalah pilihan terbaik dalam situasi lain. Sama dengan bandit dan algoritma adaptif.

6. Hentikan pengujian A/B saat mencapai signifikansi

Meskipun saya tidak akan terlalu rinci tentang statistik (Anda dapat membaca semua yang perlu Anda ketahui di posting ini), mengatakan "hentikan pada signifikansi statistik" adalah salah, sebagian besar karena sifat lingkungan online.

Sayang sekali mitos ini tersebar luas, dan pengetahuan statistik di dunia pemasaran secara mengejutkan terkandung.

Ini juga merupakan kejadian umum bahwa alat pengujian Anda akan memberi tahu Anda bahwa Anda telah mencapai signifikansi terlalu dini. Jadi, jangan menaruh semua kepercayaan Anda pada signifikansi 95% itu.

Pertama, hitung terlebih dahulu ukuran sampel dan durasi pengujian Anda. Kemudian jalankan tes selama itu. Juga, tes selama berminggu-minggu penuh (mulai pada hari Senin? Berakhir pada hari Senin). Dan direkomendasikan untuk menjalankan pengujian melalui beberapa siklus bisnis untuk memperhitungkan data non-stasioner (data yang tidak tetap sama dari waktu ke waktu). Misalnya, penjualan besar satu minggu atau lonjakan PR dapat membuang data Anda sedikit. Bahkan hari yang berbeda memiliki tingkat konversi yang berbeda berkali-kali. Mungkin Anda memiliki rasio konversi 3% pada hari Selasa tetapi rasio konversi 1,5% pada hari Sabtu, dan mungkin perbedaan itu akan membuang analisis pasca-tes Anda.

Jadi uji selama berminggu-minggu penuh untuk memperhitungkan pasang surut ini. Di CXL, kami merekomendasikan menjalankan tes selama 3-4 minggu.

Kemudian pertimbangkan signifikansi statistik setidaknya 95%.

Kesimpulan

Pengujian A/B sangat kuat. Ini adalah pencegah yang kuat untuk pengambilan keputusan berbasis usus dan menunjukkan kepada Anda apa yang menurut data harus Anda lakukan sebagai gantinya.

Pengujian A/B memungkinkan Anda memastikan halaman pasca-klik mana yang menghasilkan konversi paling banyak. Pelajari cara memberikan personalisasi iklan 1:1 untuk setiap audiens yang Anda miliki dengan Demo Personalisasi Instapage hari ini.