Memilih Alat Pengujian A/B Aplikasi Seluler yang Tepat untuk Mengoptimalkan Pengalaman Pengguna Dalam Aplikasi Anda
Diterbitkan: 2020-12-22Di dunia mobile-first saat ini, rasanya seperti setiap posting blog lain di internet berbicara tentang bagaimana Anda dapat mengalahkan UI dan UX aplikasi seluler Anda. Mengoptimalkan pengalaman aplikasi seluler secara terus-menerus untuk meningkatkan keterlibatan dan retensi pengguna bukanlah hal yang sulit. Namun, melakukan upaya pengoptimalan untuk aplikasi seluler Anda tanpa memiliki alat yang tepat di gudang senjata Anda seperti mengerjakan penyajian hidangan tanpa memahami peralatan mana yang Anda perlukan untuk memasaknya pada suhu yang tepat.
Memilih alat pengujian A/B aplikasi seluler yang tepat bisa sangat melelahkan bagi manajer produk, pengembang aplikasi, dan pemasar. Ini sebagian besar karena memusatkan perhatian pada alat atau platform yang ideal untuk persyaratan pengujian unik Anda bergantung pada sejumlah besar parameter, beberapa di antaranya cenderung diabaikan jika Anda mengambil keputusan yang tergesa-gesa atau kurang informasi. Haruskah Anda membidik alat yang paling baik menangani kasus penggunaan Anda atau yang menawarkan integrasi mudah dengan platform Anda yang lain? Bagaimana Anda dapat memastikan bahwa alat tersebut tidak memengaruhi kinerja aplikasi Anda? Bagaimana dengan pelaporan – bagaimana Anda bisa yakin akan keakuratan hasil yang dihasilkan alat Anda?
Di bagian berikut, kami membahas semua faktor yang harus Anda pertimbangkan sebelum memilih alat Pengujian A/B Aplikasi Seluler.

Jika Anda mencari berbagai alat yang tersedia di pasar, Anda dapat melompat ke bagian ini yang berisi daftar alat.
Jika Anda ingin memahami cara mengevaluasi alat eksperimen, baca terus.
Bagaimana memilih alat yang tepat?
Platform Pengujian A/B Aplikasi Seluler yang ideal cukup kuat untuk menawarkan fungsionalitas pengujian ekstensif yang memungkinkan Anda mengoptimalkan pengalaman dalam aplikasi secara menyeluruh serta kemampuan manajemen fitur sehingga Anda dapat mengelola seluruh siklus hidup fitur. Pada akhirnya, tujuannya adalah untuk mengetahui variasi yang tepat dari pengalaman dan fitur dalam aplikasi untuk mengoptimalkan aplikasi Anda guna meningkatkan interaksi dan konversi.
Untuk memilih alat yang paling cocok untuk peta jalan CRO Anda, pertimbangkan parameter berikut.
Gunakan kasus di tangan
Pengujian A/B Aplikasi Seluler memiliki banyak sekali kasus penggunaan. Agar Anda dapat memilih alat yang tepat untuk bisnis Anda, Anda harus terlebih dahulu memiliki pemahaman yang jelas tentang kasus penggunaan yang ingin Anda tangani (setidaknya yang ingin Anda mulai). Setelah Anda jelas tentang itu, Anda secara otomatis selangkah lebih dekat untuk mempersempit alat yang menawarkan kemampuan maksimum yang memenuhi kebutuhan Anda.
Beberapa kasus penggunaan pengujian A/B aplikasi seluler yang paling umum meliputi:
perdagangan elektronik
Menghilangkan gesekan dalam aliran pengguna utama
Untuk pembeli aktif saat ini yang menuntut pengalaman berbelanja yang lancar, gesekan dalam arus pengguna, terutama yang sangat penting seperti checkout, dapat menyebabkan frustrasi dan hilangnya minat, yang pada akhirnya meningkatkan tingkat pengabaian Anda. Faktanya, tahukah Anda bahwa seluler memiliki tingkat pengabaian keranjang tertinggi (mengalahkan tablet dan desktop) sebesar 85,65%? Pengujian A/B terhadap alur pengguna aplikasi eCommerce Anda dapat membantu Anda secara radikal mengurangi tingkat drop-off dan pengabaian, dengan membuka jalan bagi pengalaman pengguna yang menyenangkan.

Alat pengujian A/B aplikasi seluler memungkinkan Anda membuat dua (atau lebih) variasi alur pengguna sehingga Anda dapat mengadu satu sama lain dan menerapkan salah satu yang mengarah pada peningkatan maksimum dalam metrik aplikasi utama Anda. Selain itu, alat Anda juga harus memungkinkan Anda untuk mengelompokkan pengguna berdasarkan perilaku pembelian dan penjelajahan mereka, serta atribut demografis lainnya sehingga Anda dapat menargetkan mereka dengan variasi yang paling relevan dan mencari tahu apa yang cocok untuk grup mana.
Mengoptimalkan kemanjuran algoritma pencarian dan rekomendasi produk
Haruskah algoritme rekomendasi produk Anda didasarkan pada riwayat pembelian pembeli, item yang sedang tren, atau produk paling populer dari kategori tertentu? Bagaimana seharusnya algoritme pencarian Anda mengkategorikan produk, memutuskan relevansinya dengan permintaan pencarian tertentu, dan pada kriteria apa mereka harus diberi peringkat pada halaman hasil pencarian?
Dengan pengujian A/B aplikasi seluler, Anda tidak perlu mengandalkan tebakan atau praktik terbaik untuk menemukan jawaban atas pertanyaan di atas. Meskipun menguji perubahan berbasis UI adalah salah satu kasus penggunaan yang dipenuhi oleh alat yang tangguh, ini juga memungkinkan Anda untuk bereksperimen dengan algoritme penting Anda, termasuk rekomendasi produk dan pencarian, sehingga Anda dapat meningkatkan kemanjurannya secara strategis. Dengan menguji beberapa versi algoritme, Anda dapat mengetahui mana yang terbukti paling efektif untuk toko Anda, baik dalam mendorong upsell/cross-sell atau mengambil hasil pencarian yang paling relevan.
bermain game
Bereksperimen dengan fitur dalam aplikasi sebelum menerapkan secara universal
Menerapkan fitur baru secara universal di game Anda bisa sangat rumit. Anda bisa mendapatkan jackpot dan langsung melihat penggunaan aplikasi Anda dan tingkat keterlibatan melonjak, atau, pada catatan yang lebih realistis, itu mungkin atau mungkin tidak mendorong hasil yang Anda pikir akan terjadi. Oleh karena itu, alat pengujian A/B aplikasi seluler memungkinkan Anda mengurangi risiko yang terkait dengan peluncuran perubahan dan pembaruan dalam game dengan bereksperimen dengannya dan meluncurkannya secara bertahap ke satu atau beberapa segmen pengguna Anda. Jika kinerjanya baik, Anda dapat melanjutkan dan menerapkannya untuk semua pengguna; jika tidak, Anda selalu dapat mengumpulkan umpan balik, menggabungkannya, meningkatkan, dan meluncurkan kembali versi yang disempurnakan dengan percaya diri.

Alat pengujian A/B aplikasi seluler juga menawarkan kemampuan manajemen siklus hidup fitur yang ekstensif di mana Anda dapat meluncurkan fitur secara bertahap, mengujinya pada segmen pengguna tertentu, dan bahkan menggunakan tanda fitur untuk mengelolanya saat runtime dan mengontrol dan/atau memodifikasi siapa yang mendapatkan akses ke sana.
Merampingkan strategi penetapan harga dalam aplikasi
Untuk memaksimalkan keterlibatan pada aplikasi game Anda serta pendapatan, Anda mungkin harus bereksperimen dengan beberapa strategi penetapan harga, untuk segmen pengguna yang berbeda karena model yang sama mungkin tidak berfungsi untuk pemain yang tidak terlibat dan pemain setia. Oleh karena itu, pilih alat pengujian A/B aplikasi seluler yang memungkinkan Anda menguji algoritme penetapan harga dinamis untuk mengetahui mana yang mendorong hasil terbaik untuk segmen mana.
Tawarkan pengalaman bermain game yang dipersonalisasi
Di zaman sekarang ini, pengalaman bermain game aplikasi seluler menuntut hiper-personalisasi, dan memang seharusnya begitu. Untuk menciptakan lingkungan permainan yang menarik yang membuat para pemain ketagihan, Anda tidak mungkin mengandalkan satu strategi saja. Dengan menggunakan alat pengujian A/B aplikasi seluler, Anda dapat menguji semua elemen dinamis dari aplikasi game Anda dan memberikan pengalaman yang dipersonalisasi berdasarkan level masing-masing gamer dalam game, skor keterlibatan, dan atribut lainnya. Dengan cara ini, Anda dapat terus menemukan dan memenuhi apa yang diharapkan pengguna dari Anda untuk membuat mereka tetap terlibat.
Intinya adalah bahwa kasus penggunaan mana pun yang ingin Anda capai dengan pengujian A/B aplikasi seluler, Anda ingin memastikannya terlebih dahulu sehingga Anda dapat membuat keputusan strategis untuk memilih yang tepat berdasarkan kebutuhan Anda.
Integrasi dan plugin yang ditawarkan oleh alat
Anda ingin memastikan bahwa alat apa pun yang Anda pilih adalah tambahan yang tepat untuk tumpukan teknologi Anda, yang berarti alat itu terintegrasi dengan mulus dengan platform analitik, pemasaran, dan penjualan Anda yang lain, sehingga Anda tidak kesulitan mengakses data yang diperlukan dan memasukkannya ke dalam alur pengoptimalan aplikasi Anda. Misalnya, yang paling penting adalah platform analitik Anda, sehingga Anda dapat menggunakannya untuk menghasilkan wawasan seputar lalu lintas dan audiens situs web Anda, yang kemudian akan menjadi dasar untuk menyusun hipotesis.
Untuk ini, buat daftar alat yang saat ini Anda gunakan dan cari yang didukung oleh platform eksperimen yang Anda evaluasi. Jika Anda memiliki bisnis eCommerce, Anda mungkin juga ingin memastikan bahwa platform eCommerce mana pun tempat toko Anda dibangun (seperti Shopify atau WooCommerce) juga didukung.
VWO, misalnya, terintegrasi dengan semua alat analisis web utama, platform eCommerce, platform CSM, penjualan, dan platform ABM.
Ukuran, penggunaan RAM, dan kinerja SDK
SDK yang didukung oleh platform layak mendapatkan perhatian Anda dan juga dapat memengaruhi kinerja aplikasi Anda. Berikut adalah parameter yang harus Anda evaluasi:
- SDK harus ringan, sehingga tidak berdampak besar pada ukuran aplikasi Anda.
- Sebaiknya tidak menggunakan banyak RAM karena perangkat seluler memiliki ketersediaan RAM yang langka.
- Harus berkinerja baik dan mudah tersedia setiap saat. SDK VWO untuk pengujian A/B aplikasi seluler tersedia bahkan tanpa koneksi internet aktif dan diuji secara ekstensif untuk menghilangkan semua bug yang mungkin berdampak negatif pada kinerja aplikasi Anda.
Kemampuan pelaporan
Penting untuk memperhatikan pemahaman penghitungan hasil pengujian A/B dan pembuatan laporan karena hal ini menentukan dampak eksperimen Anda. Statistik adalah tulang punggung pengujian A/B, yang didasarkan pada perhitungan probabilitas. Namun, ada beberapa pendekatan untuk menafsirkan probabilitas dalam pengujian A/B – yang paling umum adalah model Frequentist dan Bayesian.
Pastikan Anda mengetahui apakah alat yang Anda pilih menggunakan model statistik Frequentist atau Bayesian. Secara tradisional, sebagian besar alat menggunakan model Frequentist di mana hasil pengujian hanya didasarkan pada data dari eksperimen saat ini, dan tidak memperhitungkan data sebelumnya. Model Frequentist didasarkan pada menjalankan tes tertentu untuk jangka waktu tertentu dan sampai signifikansi statistik tercapai sehingga data yang cukup dapat dikumpulkan untuk menghitung dengan tepat probabilitas satu variasi mengalahkan yang lain. Namun, itu tidak mengukur perbedaan antara dua variasi dengan mempertimbangkan ketidakpastian yang terlibat dengan jumlah data yang Anda peroleh dalam pengujian.

Model statistik Bayesian, di sisi lain, memberikan cara belajar yang alami dengan memungkinkan Anda memasukkan keyakinan Anda dari eksperimen serupa sebelumnya ke dalam model seperti sebelumnya, menggabungkannya dengan data dari eksperimen saat ini, dan kemudian menghitung hasil tes. Probabilitas hipotesis Anda benar dihitung berdasarkan data yang berkembang dan diinformasikan oleh apa yang terjadi hingga saat itu.
Mesin statistik bertenaga Bayesian VWO, SmartStats, membantu Anda mengambil keputusan pengoptimalan konversi yang lebih cerdas dengan tidak hanya memberi Anda kemungkinan satu variasi mengalahkan yang lain, tetapi juga potensi kerugian yang terkait dengan penerapannya. Dengan SmartStats, Anda dapat beralih dari hanya mengandalkan pencapaian signifikansi statistik atau menjalankan tes untuk jangka waktu tertentu, dan dapat menyimpulkan tes lebih cepat dan mengharapkan hasil yang lebih akurat. SmartStats membantu Anda membuat keputusan bisnis yang cerdas, lebih cepat, dan mendapatkan keunggulan kompetitif atas pesaing Anda.
Bayangkan sebuah skenario di mana Anda tidak yakin apakah memberikan penawaran tambahan dengan layanan Anda dapat menghasilkan lebih banyak penjualan. Anda berencana melakukan pengujian A/B untuk menguji hipotesis ini dengan mengalokasikan separuh lalu lintas ke layanan dengan add-on (Variasi A) dan separuh lainnya tanpa add-on (Variasi B).
Tes Frequentist tradisional hanya akan memberikan jawaban ya/tidak jika variasi A berbeda dari variasi B. Selain itu, hasil tes hanya valid setelah Anda memperoleh jumlah pengunjung yang cukup dalam pengujian Anda.
Namun, mesin statistik bertenaga Bayesian VWO, SmartStats, memberi Anda peluang satu variasi mengalahkan yang lain dan juga potensi kerugian mendasar dalam penjualan yang terkait dengan setiap variasi. Kedua metrik tetap valid selama durasi pengujian.
Dengan SmartStats, Anda dapat beralih dari keluaran biner ke metrik yang lebih dapat ditafsirkan.

Anggaran Mu
Tak perlu dikatakan, anggaran Anda adalah faktor besar yang perlu dipertimbangkan dalam memilih alat. Berdasarkan kasus penggunaan khusus yang ingin Anda tangani dan fitur yang Anda perlukan, Anda harus mencari alat yang sesuai dengan tagihan serta sesuai dengan anggaran Anda sehingga Anda dapat mendorong ROI yang signifikan dari program eksperimen Anda.
Terutama jika Anda baru memulai dengan pengoptimalan aplikasi seluler, memilih alat yang relatif mahal mungkin tidak memberi Anda ROI yang signifikan. Sebagai gantinya, mulailah dengan alat yang menawarkan uji coba gratis, sehingga Anda dapat menilai semua fiturnya secara komprehensif dan memutuskan apakah itu memenuhi kebutuhan Anda. VWO, misalnya, menawarkan uji coba gratis yang dapat digunakan tim Anda untuk menjalankan beberapa kampanye dan mencari tahu apakah kebutuhan unik Anda terpenuhi.
Dukungan dan bantuan yang ditawarkan oleh platform
Saat mengevaluasi alat, orang sering mengabaikan tingkat dan kualitas dukungan yang ditawarkan platform. Namun, ini adalah faktor penting yang memainkan peran utama dalam menentukan kecepatan pengujian dan skala program pengoptimalan Anda. Jika Anda menerima bantuan ahli yang berdedikasi sepanjang perjalanan Anda, Anda akan dapat mencapai tujuan Anda dengan lebih efisien dan mengembangkan upaya Anda seiring waktu.
Selain itu, jika Anda baru mengenal pengujian A/B aplikasi seluler, Anda mungkin memerlukan bantuan dalam menyiapkan beberapa kampanye pertama dan menjawab pertanyaan Anda. Jadi, pastikan Anda memilih alat yang menawarkan dukungan terbaik di kelasnya (waktu respons cepat, ketersediaan maksimum, sumber daya swadaya yang memadai, dukungan omni-channel, CSAT, dan sebagainya) sehingga Anda tidak hanya dapat mempercepat, tetapi juga mendorong hasil yang diinginkan secara efektif.

Bahkan jika Anda agak berpengalaman dan berpengalaman dengan pengujian A/B pengalaman aplikasi seluler Anda, Anda mungkin memerlukan dukungan ekstensif segera setelah mendaftar untuk alat baru. Untuk itu, pastikan Anda memilih alat yang menawarkan dukungan khusus, TAT cepat, dan resolusi efektif untuk membantu Anda memecahkan semua hambatan eksperimen.
Sejujurnya – Anda membutuhkan alat yang mencakup segalanya. Tidak ada satu faktor pun yang disebutkan di atas yang kurang penting dan Anda tidak perlu berkompromi pada kualitas pengujian atau persyaratan Anda.
Pengujian Aplikasi Seluler VWO – Platform komprehensif untuk semua kebutuhan pengoptimalan dalam aplikasi Anda
Pengujian Aplikasi Seluler VWO adalah solusi tangguh untuk pengoptimalan aplikasi seluler. Dari bereksperimen dengan berbagai variasi pengalaman pengguna dalam aplikasi (baik eksperimen berbasis UI dan sisi server) hingga menguji fitur utama sebelum dan sesudah peluncuran, Anda dapat melakukan semuanya dengan mudah. Baik Anda ingin menguji perubahan UI dasar seperti CTA atau salinan spanduk, warna, dan penempatan, atau melakukan pengoptimalan drastis pada algoritme mesin telusur, pengalaman game, dan seterusnya, Anda diperlengkapi dengan baik untuk terus mengembangkan keterlibatan, penggunaan, retensi, dan konversi.
Anda juga dapat menggabungkan pengujian A//B aplikasi seluler dengan VWO Insights yang menawarkan kemampuan pemetaan panas, perekaman sesi, dan analisis formulir sehingga Anda dapat mengumpulkan wawasan yang dapat ditindaklanjuti tentang pengalaman pengguna aplikasi Anda dan mengubahnya menjadi peluang pengoptimalan.

VWO menawarkan opsi segmentasi dan penargetan lanjutan yang memungkinkan Anda mengelompokkan pengguna berdasarkan atribut perilaku mereka dan menargetkan mereka secara eksklusif. VWO juga terintegrasi dengan semua platform analitik utama sehingga Anda dapat menangkap dan menganalisis data relevan yang diperlukan untuk membuat keputusan eksperimen yang terinformasi.
SDK VWO untuk pengujian A/B aplikasi seluler adalah open-source dan ringan (sekitar 200KB untuk Android dan 285KB untuk iOS) yang hanya menggunakan sekitar 100KB atau 300KB RAM untuk Android dan iOS.
Selain itu, VWO menawarkan dukungan 24*7*365 (& waktu respons yang luar biasa) dengan pakar pengoptimalan yang membantu Anda sepanjang perjalanan untuk memastikan Anda mendapatkan hasil yang diinginkan dari kampanye Anda. Dengan CSAT 98% (dibandingkan dengan rata-rata industri 94%), tim dukungan VWO mengambil kepemilikan penuh untuk menyelesaikan semua perangkap yang mungkin Anda temui, sehingga memastikan Anda memanfaatkan program pengoptimalan aplikasi seluler Anda sebaik mungkin.
Jika Anda khawatir tentang bagaimana VWO memenuhi janji-janji ini, bagaimana kalau Anda mencobanya secara gratis dan menilai sendiri? Jika Anda memiliki pertanyaan tentang hal yang sama, Anda dapat meminta demo oleh salah satu pakar pengoptimalan VWO dan mendapatkan jawabannya.
Alat pengujian A/B aplikasi seluler lainnya
Berikut adalah daftar beberapa alat populer lainnya untuk eksperimen aplikasi seluler beserta harganya.
Optimalkan
Optimizely menawarkan solusi lintas platform untuk penandaan fitur dan eksperimen yang memungkinkan Anda menjalankan eksperimen berbasis UI serta sisi server dan juga mengurangi risiko saat meluncurkan fitur. Anda mendapatkan akses ke kemampuan eksperimen tumpukan penuh dan multisaluran, peluncuran fitur bertahap, opsi untuk membuat pembaruan aplikasi instan, dan banyak lagi dengan penawaran pengoptimalan seluler Optimizely. Mereka menawarkan paket peluncuran gratis yang berlaku selama 7 hari yang memungkinkan Anda untuk mengevaluasi kemampuan dasar mereka.
LuncurkanDarkly
LaunchDarkly menawarkan fitur manajemen flag dan kemampuan eksperimen dalam skala besar bersama dengan kontrol granular. Anda dapat mengelola seluruh siklus hidup fitur – mulai dari produksi dan pengujiannya hingga penerapan dan analisis kinerja. Anda mendapatkan kontrol penuh atas setiap fitur sehingga Anda dapat meminimalkan risiko dan meluncurkannya dengan percaya diri.
Anda dapat memulai dengan uji coba gratis atau memanfaatkan paket awal dengan harga $75/bulan (terbatas untuk satu anggota) untuk mencoba fungsi dasarnya. Namun, paket ini tidak menyertakan fitur eksperimen, yang harus Anda tingkatkan ke paket yang lebih tinggi.
AB Enak
AB Tasty menawarkan analisis UX, eksperimen, personalisasi, dan kemampuan manajemen tanda fitur yang memungkinkan Anda mengoptimalkan pengalaman ujung ke ujung di aplikasi seluler Anda. Dengan menggunakan ini, Anda dapat membuat segmen pengguna, menawarkan pengalaman unik untuk berbagai segmen basis pengguna Anda, dan bereksperimen dengan fitur sebelum meluncurkannya. Anda dapat memanfaatkan kutipan khusus dari situs web mereka berdasarkan pengguna/bulan unik Anda dan persyaratan lainnya.
Target Adobe
Target adalah platform pengujian dan personalisasi dari rumah Adobe. Terutama digunakan untuk personalisasi pengalaman dalam aplikasi dalam skala besar, Target terintegrasi secara mulus dengan Adobe Analytics dan Adobe Audience Manager. Ini dapat digunakan untuk mengoptimalkan pengalaman aplikasi Anda berdasarkan perilaku pengguna Anda untuk meningkatkan keterlibatan. Namun, Target tidak menawarkan kemampuan manajemen fitur, jadi Anda mungkin harus memilih alat yang berbeda untuk itu.
Pengujian A/B Firebase
Dari rumah Google Optimize, Pengujian A/B Firebase menyediakan kemampuan eksperimen dan pengelolaan fitur. Karena ditawarkan oleh Google, ini terintegrasi secara mulus dengan semua alat lain dari Google, jadi sumber data dan wawasan pengeboran untuk kampanye Anda tidak akan menjadi masalah.
Kesimpulan
Memilih alat yang tepat yang paling sesuai dengan tujuan eksperimen Anda hanyalah langkah pertama (walaupun sangat penting) untuk meningkatkan metrik utama aplikasi Anda. Memanfaatkan alat dengan sukses berarti menutup loop pengoptimalan dengan menginvestasikan waktu dan upaya dalam segala hal mulai dari membuat tolok ukur KPI Anda hingga mendokumentasikan pembelajaran Anda dan memasukkannya kembali ke peta jalan pengujian Anda. Daftar untuk uji coba gratis dengan VWO untuk melakukan ini dengan mudah.
