Praktik Terbaik untuk Menetapkan Satu Sumber Kebenaran (SSOT) untuk Pengujian A/B

Pengujian CX Anda hidup atau mati pada kualitas data Anda. Anda tidak dapat membentuk hipotesis yang valid dan dapat diuji menggunakan data yang meragukan. Dan Anda tidak dapat mempercayai hasil pengujian Anda jika Anda tidak tahu bahwa Anda sedang melihat metrik yang akurat.

Itulah mengapa Anda perlu membangun program pengujian di sekitar set data Single Source of Truth (SSOT). Jika Anda tidak bisa, bahkan pengujian A/B yang paling sederhana pun akan kekurangan nilai. Artikel ini mengeksplorasi mengapa membangun SSOT sangat penting dan membagikan beberapa praktik terbaik yang telah teruji di lapangan yang telah kami kembangkan untuk melakukannya di Kameleoon.

Apa itu SSOT?

Pengambilan keputusan bisnis modern harus didorong oleh data. Mempertahankan SSOT berarti bahwa untuk eksperimen CX, atau fungsi lainnya, Anda membuat standar pada satu sumber data sebagai "kebenaran" definitif di mana Anda melakukan pekerjaan tim itu dan menginformasikan keputusan perusahaan Anda.

Tanpa SSOT, Anda mempertaruhkan data Anda terfragmentasi ke dalam silo yang dijaga oleh tim yang berbeda untuk fungsi yang berbeda. Tidak ada standarisasi, tidak ada konsensus, dan tidak ada cara untuk mengetahui apakah seseorang membuat keputusan berdasarkan informasi terbaik yang tersedia.

SSOT bukanlah teknologi atau sistem tertentu. Ini adalah praktik bisnis yang dirancang untuk mendapatkan hasil optimal dari aktivitas tim Anda. Beberapa perusahaan telah menghemat jutaan dengan beralih ke strategi data SSOT bahkan tanpa menyentuh pekerjaan yang mendasarinya.

Studi telah menunjukkan bahwa metrik perilaku pelanggan berkualitas tinggi tetap menjadi data yang paling dicari untuk menginformasikan keputusan strategis. Selama beberapa tahun berturut-turut, dalam survei CEO tahunan PricewaterhouseCoopers, para CEO menilai itu sebagai metrik terpenting yang mereka inginkan untuk perencanaan strategis.

Apa itu pengujian A/B?

Pengujian A/B adalah metode untuk bereksperimen dengan situs web, aplikasi seluler, atau iklan dengan membandingkan kinerja versi asli—versi A, atau kontrol—dengan versi B yang dimodifikasi. Tujuannya adalah untuk mengumpulkan data kinerja untuk masing-masing, melakukan analisis statistik, dan menentukan, berdasarkan data, versi mana yang berkinerja terbaik.
Pengujian A/B berfungsi untuk menguji lebih dari sekadar elemen halaman web tunggal. Misalnya, Anda dapat menggunakannya untuk mengoptimalkan harga, memvalidasi fitur produk, dan mempersonalisasi situs web untuk segmen pengunjung yang berbeda. Selain itu, pengujian A/B adalah dasar dari banyak teknik pengoptimalan CX lainnya, termasuk pengujian multivarian, rekomendasi produk, dan penargetan berbasis profil.

Siapa yang membutuhkan SSOT untuk pengujian mereka?

Tim eksperimen mempelajari data yang dihasilkan dalam platform analitik, CRM, platform pengujian, dan banyak lagi. Mereka perlu membuat SSOT untuk pengujian guna memperjelas apa yang ingin dilakukan tim mereka. Mari kita pertimbangkan sebuah contoh.

Salah satu klien Kameleoon meluncurkan kampanye untuk mengoptimalkan fungsi pencarian situs webnya. Mereka melakukan tes sisi server yang melibatkan pelacakan lalu lintas ke halaman akses.

Namun mereka menghadapi masalah yang dihadapi banyak program eksperimen: data di Google Analytics menunjukkan satu jumlah kunjungan halaman, dan alat eksperimen mereka menunjukkan yang lain. Perbedaannya lebih dari 9 persen.

Menjadi situs web e-niaga dengan lebih dari satu juta pengunjung per bulan, keputusan kumpulan data mana yang dapat dipercaya membuat perbedaan besar dalam pelaporan KPI perusahaan. Sementara beberapa merek menengah dan perusahaan dapat mengabaikan perbedaan hingga 10 persen dalam statistik pengunjung, perbedaan 9 persen dalam data membuat tim eksperimen perusahaan ini gugup.

Tim ini baru saja mendapatkan dukungan untuk program eksperimen mereka, termasuk anggaran untuk berinvestasi pada alat seperti Kameleoon. Mereka mengharapkan tes dengan kesimpulan yang jelas. Sebaliknya, keakuratan data mereka diragukan. Mereka perlu mendirikan SSOT.

Kami membantu perusahaan ini membersihkan pelacakan data pengunjung mereka, membuat SSOT, dan mendapatkan hasil pengujian yang mereka butuhkan untuk berkembang. Untuk melakukan itu, kami membantu mereka mengadopsi tujuh praktik terbaik SSOT. Kami membagikan praktik terbaik tersebut di sini karena setiap tim CX yang ingin memperdebatkan data pengujian mereka dan mendapatkan hasil maksimal dari program eksperimen mereka dapat menggunakannya untuk berkembang.

Praktik terbaik untuk menghilangkan perbedaan data pengujian dan menetapkan SSOT

1. Sebelum Anda melakukan hal lain, lakukan tes A/A

Sementara pengujian A/B membandingkan versi lama dan versi baru dari produk atau halaman Anda, pengujian A/A membandingkan suka dengan yang serupa. Mengapa Anda ingin melakukan ini? Jadi Anda dapat membandingkan data yang dihasilkan oleh setiap platform pemantauan.

Dalam pengujian A/A, kedua variasi tersebut sama, tetapi pengguna yang melihatnya akan berbeda:

Bagaimana cara mengambil tindakan?

Sebelum Anda melakukan pengujian A/B yang serius atau meluncurkan implementasi baru tempat Anda ingin mengumpulkan data, jalankan pengujian A/A untuk mengkalibrasi. Di dunia yang sempurna, tes A/A Anda akan memberikan hasil yang sama. Pada kenyataannya, itu jarang terjadi, tetapi Anda masih akan belajar seberapa besar perbedaan yang Anda hadapi.

Misalnya, menjalankan pengujian A/A memungkinkan Anda melihat metrik apa yang didapat Google Analytics dibandingkan dengan alat pengujian Anda di sesi, pengguna, kunjungan, konversi, atau metrik mana pun yang sama yang ingin Anda ukur.

2. Lacak pengunjung dan kunjungi dengan cara yang sama di semua alat Anda

Jumlah pengunjung atau kunjungan yang dilacak oleh alat analitik Anda tidak akan pernah sama persis dengan pengguna dan sesi. Namun, Anda dapat memastikan kunjungan dihitung dengan cara yang sama di platform analitik dan A/B Anda untuk mengurangi perbedaan.

Di Google Analytics, ada dua cara mengakhiri kunjungan:

• Kedaluwarsa berdasarkan waktu: Di sini, sesi berakhir setelah 30 menit tidak aktif atau pada tengah malam. Padahal, misalnya di Kameleoon, setelah 30 menit tidak aktif.

• Perubahan kampanye : Jika pengunjung yang sama datang melalui satu kampanye, pergi setelah 2 menit, dan kembali melalui kampanye yang berbeda 2 menit kemudian, Google Analytics akan menghitung dua kunjungan. Beberapa alat pengujian A/B akan melihat ini sebagai satu.

Bagaimana cara mengambil tindakan?

Periksa bagaimana pengunjung dan kunjungan dihitung di alat analitik Anda dan pastikan itu sama untuk alat pengujian Anda. Atau bahwa Anda dapat mengubahnya. Di Kameleoon, kami menyarankan untuk menggunakan platform analitik Anda sebagai satu-satunya sumber kebenaran.

Di GA, Anda dapat mengedit berapa lama waktu sesi dan kampanye habis di bawah Setelan Sesi.

Mengapa? SSOT harus didefinisikan di tingkat organisasi. Jadi, meskipun tim pengujian Anda menghabiskan waktu seharian bekerja dengan data di platform pengujian Anda, tim lain mungkin masih perlu merujuk data dari GA untuk tujuan lain. Tetapkan SSOT menjadi kumpulan data yang direferensikan oleh tim terluas di organisasi Anda.

3. Buat filter browser dan versi di alat analitik Anda

Banyak platform pengujian A/B tidak berjalan di Internet Explorer, sehingga setiap kunjungan di browser tersebut secara otomatis dikecualikan dari laporan eksperimen. Tetapi IE masih dapat menyebabkan perbedaan data jika Anda menargetkan organisasi lama yang besar yang menggunakannya.

Masalah pelacakan potensial lainnya adalah bahwa Google Analytics kompatibel dengan semua versi browser, sedangkan alat pengujian A/B biasanya mempertahankan kompatibilitas penuh hanya dengan beberapa versi terakhir.

Bagaimana cara mengambil tindakan?

Di Google Analytics, buat filter khusus berdasarkan browser dan versi browser yang Anda sukai sehingga semua platform cocok. Anda melakukan ini di

Misalnya, di bawah Tampilan, berikut cara mengecualikan versi Google Chrome yang lebih lama:

4. Saring lalu lintas yang bermasalah di semua alat Anda

Jaga agar kumpulan data SSOT Anda sebersih mungkin dengan hanya mengumpulkan data dari anggota audiens yang sah. Anda tidak ingin mengacaukan data Anda dengan bot, troll, bug pelacak, atau lalu lintas outlier lainnya. Jangan khawatir tentang penurunan volume, kualitas hasil Anda akan naik.

Bagaimana cara mengambil tindakan?

Alat pengujian A/B tingkat lanjut menawarkan beberapa pengaturan pemfilteran bot yang siap pakai. Misalnya, mereka dapat secara otomatis menghapus lalu lintas dari statistik yang dikumpulkan jika mereka mendeteksi perilaku outlier atau jika sesi berada dalam kondisi aktivitas yang mencurigakan.

Di sisi lain, jika Anda menggunakan GA, terserah Anda untuk memutuskan cara mendeteksi dan mengecualikan lalu lintas bot dari data analitik Anda menggunakan filter. Untuk referensi, berikut adalah beberapa kondisi yang mungkin ingin Anda kecualikan.

• Durasi kunjungan > 120 menit
• Durasi kunjungan < 100 milidetik
• Jumlah peristiwa (konversi, klik, penargetan, produk, tampilan halaman, dll.) > 10K

Anda juga ingin mengecualikan lalu lintas internal dari dalam organisasi Anda. Ingat, tujuan dalam membangun dataset SSOT ini adalah untuk memiliki sumber data yang pasti tentang pelanggan Anda yang sebenarnya, bukan kolega Anda.

Untuk memfilter lalu lintas internal di GA, buka panel Admin > Semua Filter dan buat filter baru. Setel jenis filter ke 'tidak ditentukan'. Kemudian, tambahkan rentang IP internal yang ingin Anda kecualikan.

5. Hindari pemblokir iklan

Banyak pengunjung yang menggunakan pemblokir iklan seperti Adblock, Ghostery, dan uBlock. Beberapa pemblokir iklan juga dapat memblokir pelacak sisi klien, termasuk peristiwa analitik dari alat eksperimen.

Jika sebagian besar pengunjung Anda mengaktifkan pemblokir iklan di browser mereka, kemungkinan besar jumlah kunjungan yang dicatat akan bervariasi antara alat pengujian A/B dan platform analitik Anda.

Bagaimana cara mengambil tindakan?

Beberapa platform dapat menyediakan URL permintaan pelacakan “on-premise” yang memungkinkan mereka untuk menghindari pemblokiran iklan. Di sini, pelacakan terjadi di sisi server, sehingga pemblokiran kode sisi klien, seperti dari pemblokir iklan, tidak menghentikan pelacakan yang sah. Aktifkan di semua platform yang memungkinkan.

Cara lain untuk lebih memahami perbedaan antara platform analitik dan pengujian Anda adalah dengan mengirim peristiwa ke platform analitik Anda setelah alat pengujian Anda dimuat. Itu akan memberi Anda gambaran yang jelas tentang persentase pengunjung yang menggunakan pemblokir iklan yang memblokir alat pengujian A/B Anda. Kemudian Anda harus memfilter lalu lintas Anda untuk mengecualikan pengunjung yang menggunakan pemblokir iklan.

6. Instal alat Anda di semua halaman yang sama

Penempatan cuplikan adalah penyebab umum dari perbedaan data, terutama jika Anda ingin menjalankan eksperimen yang menargetkan seluruh situs. Alasannya adalah bahwa banyak alat eksperimen memperlakukan "seluruh situs" sebagai semua halaman yang membawa cuplikan kodenya. Sayangnya, itu bahkan dapat mencakup situs pementasan Anda jika Anda memiliki cuplikan yang disalin di sana.

Bagaimana cara mengambil tindakan?

Jika Anda belum melakukannya, sekarang adalah waktu yang tepat untuk menjalankan pengujian A/A untuk mengkalibrasi platform Anda. Kemudian, pastikan semua alat Anda diterapkan pada halaman yang sama.

Salah satu cara untuk mengidentifikasi jika bukan adalah dengan mengelompokkan data Anda berdasarkan URL halaman yang dikunjungi. Ini akan menunjukkan kepada Anda semua URL utama tempat eksperimen telah berjalan sehingga Anda dapat mengidentifikasi URL yang seharusnya tidak dimuat oleh alat pengujian Anda. Begini tampilan opsi ini di Kameleoon:

Pikiran Akhir

Setelah analisis yang cermat, Kameleoon menentukan bahwa klien dengan perbedaan data mengalami masalah terakhir. Google Analytics dan alat pengujiannya tidak berjalan di halaman yang sama.

Sementara GA melacak semua lalu lintas yang menuju ke laman hasil penelusuran, mereka mengonfigurasi alat pengujian dengan parameter yang lebih sempit—eksperimen menghitung kunjungan ke laman akses hanya setelah penelusuran di bilah penelusuran.

Meskipun kedua halaman tampak sama, URL-nya berbeda, sehingga menimbulkan perbedaan data. Namun, setelah diselesaikan, mereka memiliki SSOT yang andal untuk menguji data dan menghasilkan banyak wawasan berharga.

Dengan mengenali di mana pengaturan out-of-the-box di alat pengujian Anda tidak selaras dengan pelacakan analitik Anda, Anda dapat memutuskan jumlah pengunjung yang akan dilaporkan atau bagaimana menggunakan pengaturan Anda untuk meminimalkan perbedaan.

Hilangkan perbedaan, bangun satu sumber kebenaran, dan kumpulkan tim Anda di sekitar satu kumpulan data umum. Menetapkan SSOT adalah langkah pertama menuju pengujian yang lebih baik, lebih andal, dan lebih berwawasan.