Cara Menganalisis Hasil Pengujian A/B dengan Analisis Pengujian A/B

Hal terakhir yang diinginkan siapa pun adalah positif palsu — apa pun tesnya! Dengan pengoptimalan tingkat konversi (CRO) , positif palsu dapat menyebabkan jalan buntu.

Saat Anda melakukan pengujian A/B , Anda ingin mengetahui apakah halaman pengujian (B) Anda benar-benar mengungguli halaman kontrol Anda (A) sebelum menghabiskan waktu mengutak-atik formulir, halaman, atau aspek lain dari situs Anda.

Teknik analisis pengujian A/B akan membantu menentukan apakah pengujian Anda signifikan secara statistik dan apakah Anda memiliki kumpulan data pemenang.

Bagaimana Anda tahu jika pengujian A/B Anda signifikan secara statistik?

Signifikansi statistik berarti Anda dapat mengulang tes dan secara konsisten menerima hasil yang sama — atau mirip —.

Misalnya, Anda mengubah penempatan tombol ajakan bertindak (CTA). Tombol tersebut dulunya berada di bawah konten halaman arahan Anda, tetapi Anda berhipotesis bahwa Anda akan menerima lebih banyak arahan jika Anda menempatkan tombol di depan dan tengah. Jadi, Anda men-tweak halaman dan meletakkan tombol di atas judul utama Anda.

Selanjutnya, Anda menguji halaman arahan sebelumnya — halaman kontrol — pada 1000 pengunjung. Dari sana, Anda menguji halaman tweak pada 1000 pengunjung lainnya. Setelah Anda mengukur hasil Anda dengan kalkulator tes A/B, itu menunjukkan peningkatan klik sebesar 25% pada tombol CTA Anda setelah Anda menaikkannya di halaman.

Jika Anda mengulangi pengujian lebih dari sekali dan terus menerima sekitar 25% peningkatan klik, Anda dapat berasumsi bahwa hasil Anda signifikan secara statistik. Anda juga dapat menganggap perubahan penempatan tombol CTA adalah penyebab perubahan tersebut.

Bagaimana Anda menganalisis pengujian A/B Anda?

Meskipun kalkulator A/B bukanlah analisis pengujian A/B akhir dari segalanya, kalkulator membantu Anda memahami data yang Anda kumpulkan.

Katakanlah Anda memiliki bisnis kecil. Jumlah rata-rata pengunjung situs Anda berkisar antara 100 – 500 pengguna per minggu. Anda menjalankan pengujian A/B serupa pada tombol CTA halaman arahan Anda — tetapi dengan ukuran sampel 100 orang, bukan 1000.

Hasil Anda menemukan bahwa 50 dari 100 orang mengklik tombol CTA Anda untuk halaman asli. Di halaman pengujian, 58 orang mengklik tombol tersebut. Meskipun peningkatan ini mungkin tampak signifikan untuk ukuran sampel, menurut kalkulator A/B, ini hanya perubahan 16%.

Apa yang harus Anda lakukan sebelum menjalankan pengujian A/B?

Sebelum kita mulai dengan contoh skenario kita, inilah ikhtisar tentang apa yang harus Anda lakukan sebelum mengumpulkan data apa pun.

1. Ketahui tujuan Anda

Apa indikator kinerja utama (KPI) Anda? Dengan kata lain, percakapan apa yang mendorong hasil paling signifikan untuk bisnis Anda? Indikator ini bisa apa saja mulai dari volume penjualan hingga retensi klien. Berfokus pada perubahan yang diarahkan pada KPI Anda akan mendorong hasil terbaik.

2. Ketahui di mana Anda berada — dan ke mana Anda ingin pergi

Setelah Anda mengetahui apa yang ingin Anda ukur, cari tahu posisi Anda saat ini. Anda mungkin sudah memiliki gambaran umum jika telah mengukur klik iklan, jumlah email yang dibuka, atau berapa banyak prospek yang mengisi formulir kontak Anda per bulan.

Lihat CRM dan Google Analytics Anda untuk mengukur data sebagaimana adanya. Data saat ini seharusnya memberi Anda gambaran tentang peningkatan mana yang diperlukan dan realistis.

Cara mengetahui apakah pengujian Anda signifikan secara statistik (tanpa menggunakan kalkulator A/B)

Sekarang ke bagian yang menyenangkan — analisis pengujian A/B. Setelah mengikuti langkah-langkah di atas, selain menjalankan uji coba dan mengumpulkan data, Anda dapat menentukan apakah hasil Anda cukup signifikan untuk melakukan perubahan.

Kabar baiknya adalah Anda masih dapat menggunakan kalkulator A/B sebagai titik awal. Dari 100 pengunjung situs web untuk bisnis kecil yang kami bicarakan sebelumnya, ada peningkatan klik sebesar 16% karena perpindahan penempatan tombol CTA — konon. Sekarang, bagaimana kita tahu kalau itu benar?

1. Jalankan kembali pengujian

Setiap kali Anda menjalankan pengujian A/B, jika perubahannya tidak signifikan, Anda sebaiknya menjalankan kembali pengujian — misalnya, jika hasilnya lebih rendah dari perbedaan hasil sebesar 36%.

Secara umum, sebaiknya jalankan ulang pengujian A/B agar Anda memiliki data yang cukup untuk menyimpulkan bahwa hasilnya adalah akibat langsung dari perubahan yang Anda buat.

2. Analisis data kembali

Katakanlah setelah tayangan ulang ini, hasilnya adalah 60 dari 100 orang mengklik tombol CTA halaman percobaan, dan 52 orang mengklik halaman aslinya. Itu peningkatan 15,38%, menurut kalkulator.

3. Jalankan pengujian Anda sekali lagi (dan analisis hasilnya)

Hasil ini mirip dengan perubahan 15 – 16% untuk ketiga kalinya. Namun, sebelum Anda langsung menerapkan perubahan, uji hasil Anda sekali lagi.

Saat Anda bekerja dengan ukuran sampel yang lebih kecil, sulit untuk mengetahui apakah perubahan yang konsisten itu kebetulan atau tidak. Biasanya, semakin besar ukuran sampel, semakin banyak kekuatan statistik yang Anda miliki.

4. Jalankan pengujian A/B lainnya — menguji halaman kontrol Anda terhadap dirinya sendiri

Secara teknis, penilaian seperti ini akan dianggap sebagai pengujian A/A. Uji halaman kontrol Anda pada satu set 100 pengunjung dan uji halaman yang sama pada set 100 pengunjung yang berbeda. Anda dapat melakukan ini sebelum atau sesudah menguji perubahan.

Variasi alami dalam klik pada CTA Anda tanpa perubahan apa pun yang diterapkan tidak boleh melebihi perbedaan 2%. Kisaran ini memperhitungkan fluktuasi alami dalam klik yang diterima halaman Anda. Setiap perubahan yang melebihi rentang ini dapat dianggap signifikan.

Sekarang setelah Anda memiliki data yang cukup, saatnya untuk melihat apakah ada tiga kotak yang dicentang. Tentukan apakah data tersebut:

• Cukup: Ya, kami menjalankan pengujian tiga kali.
• Konsisten: Ya, kami menerima hasil yang serupa tiga kali.
• Dibedakan: Ya, kami menguji halaman kontrol kami terhadap dirinya sendiri dan melihat perubahan alami turun antara -2 dan 2% — artinya peningkatan klik kami yang konsisten sebesar 15% untuk halaman pengujian kami adalah signifikan.

Berdasarkan hasil tersebut, kita dapat menentukan data tersebut signifikan secara statistik. Kami juga dapat berasumsi bahwa perubahan penempatan tombol CTA adalah penyebab peningkatan klik.

WebFX adalah kepercayaan bisnis mitra.

Dengarkan dari HydroWorx, yang melihat peningkatan 236% dalam sesi organik dengan layanan WebFX.

Saksikan Video Kesaksian

Bermitra dengan WebFX untuk analisis pengujian A/B

Seperti yang Anda lihat, analisis pengujian A/B bisa menjadi tugas yang menakutkan, terutama jika Anda tidak yakin perubahan apa yang akan memberikan hasil terbaik. Tim kami yang terdiri dari 500+ pakar materi pelajaran di WebFX menggunakan strategi SEO berbasis data untuk membuat halaman arahan yang berdampak dengan layanan pengujian A/B kami. Kami telah menghasilkan pendapatan lebih dari $3 miliar untuk klien kami, dan kami siap untuk meningkatkan laman landas Anda.

Hubungi kami secara online atau hubungi kami di 888-601-5359 untuk berbicara dengan ahli strategi hari ini!