Kapan Mencari Maksimum Lokal dan Global Dengan Pengujian A/B Anda

Bayangkan Anda mendaki Gunung Everest dalam kabut tebal dengan amnesia. Anda hanya dapat melihat sejauh tangan Anda yang terulur. Anda tidak tahu di mana Anda berada atau arah mana yang harus dituju, hanya saja Anda perlu mencapai puncaknya. Apa peluang yang Anda lakukan?

Mungkin serendah gunung itu tinggi.

Analogi yang dramatis seperti ini, dibuat dengan mengacu pada dasar metode pengujian A/B yang populer. Puncak itu adalah versi terbaik dari halaman arahan pasca-klik Anda, dan Anda bingung, hampir buta, dan tersesat di sisi gunung halaman Anda saat ini.

Yang lebih buruk, Anda mungkin diberikan peta yang salah oleh blogger pemasaran favorit Anda. Anda mungkin berpikir Anda melakukan pengujian A/B dengan cara yang benar — bahwa Anda sedang menuju ke arah puncak itu. Namun, kemungkinannya, Anda akan segera menemui jalan buntu, dan Anda tidak akan pernah menemukan variasi halaman arahan pasca-klik dengan performa tertinggi.

Mitos pengujian A/B yang membingungkan pemula

Beberapa blog pemasaran paling populer di internet terus mengabadikan mitos pengujian A/B yang merugikan pemula sejak awal. Itu mengorbankan saya ketika saya mulai juga.

“Jangan ubah lebih dari satu elemen halaman per pengujian A/B” Saya terus membaca berulang-ulang. Saya tidak mempertanyakannya karena sumbernya dapat dipercaya dan karena sebagian besar, yah, itu masuk akal.

Inti dari pengujian A/B adalah untuk mengumpulkan data yang dapat Anda gunakan untuk mengoptimalkan halaman, email, iklan, atau apa pun yang Anda uji. Bagaimana saya bisa tahu apa yang menyebabkan perubahan rasio konversi pada akhir pengujian jika saya membuat lebih dari satu penyesuaian antara versi "A" dan "B"? Data seperti apa itu?

Jadi, saya menguji elemen satu per satu: judul halaman arahan pasca-klik "A" vs. judul halaman arahan pasca-klik "B." Selanjutnya, itu adalah tombol biru di halaman arahan pasca-klik "A" vs. tombol hijau di halaman arahan pasca-klik "B." Beginilah cara pro dan Amazon dan Google melakukannya. Jika itu cukup baik untuk perusahaan multi-miliar dolar, itu cukup baik untuk saya.

Masalah yang saya abaikan, yang menjadi sangat menyakitkan bagi saya berbulan-bulan kemudian, adalah bahwa saya bukan Amazon atau Google. Situs web mereka menghasilkan banyak lalu lintas, yang berarti bahwa peningkatan kecil yang diperoleh dari tes warna tombol sembrono ini dapat menghasilkan pendapatan jutaan dolar.

Namun, bagi kebanyakan orang, mereka membuang-buang waktu dan sumber daya. Bagi kebanyakan orang, menggunakan metode pengujian A/B ini seperti mendaki Gunung Everest dalam kabut tebal dengan amnesia.

Heuristik mendaki bukit

Dalam kehidupan kita sehari-hari, ada masalah yang kita temui yang solusinya jelas. Tapi, apa yang terjadi ketika Anda dihadapkan dengan rintangan yang tidak biasa dan sebagian besar unik? Ambil labirin ini, misalnya:

Tidak ada posting blog yang ditulis tentang cara terbaik untuk menavigasi labirin khusus ini. Teman Anda (kemungkinan besar) tidak dapat membimbing Anda melewatinya. Anda tidak memiliki peta. Jadi, bagaimana Anda pergi dari A ke B?

Jawabannya dapat ditemukan dalam program komputer yang disebut "The General Problem Solver," yang dibangun pada tahun 1963 oleh Newell, Simon, dan Shaw untuk mempelajari kecerdasan buatan. Penelitian mereka juga telah diterapkan pada pemecahan masalah manusia. Russ Dewey menjelaskan:

Newell dan Simon mendefinisikan setiap masalah sebagai sebuah ruang. Di satu ujung ruang adalah titik awal, di sisi lain adalah tujuan. Prosedur pemecahan masalah itu sendiri dipahami sebagai serangkaian operasi untuk melintasi ruang itu, untuk mendapatkan dari titik awal ke keadaan tujuan, selangkah demi selangkah.

Dalam Pemecah Masalah Umum, program menguji berbagai tindakan (yang disebut oleh Newell dan Simon sebagai operator) untuk melihat mana yang akan membawanya lebih dekat ke keadaan tujuan. Operator adalah setiap aktivitas yang mengubah keadaan sistem. Pemecah Masalah Umum selalu memilih operasi yang muncul untuk membawanya lebih dekat ke tujuannya. Taktik ini disebut panjat bukit, karena menyerupai taktik untuk selalu melangkah menuju puncak bukit atau gunung.

Dalam labirin di atas, setiap jalan buntu adalah "ruang" — masalah yang perlu Anda atasi dengan "operasi", yang merupakan tindakan yang membawa Anda lebih dekat ke tujuan Anda (bergerak dari "A" ke "B").

Jadi, Anda mulai dari "A" dan mengikuti jalan yang menurut Anda akan membawa Anda ke "B" tercepat. Ketika Anda menemui jalan buntu, Anda kembali dan mencoba rute alternatif. Anda mengulangi prosesnya sampai Anda mencapai tujuan Anda.

Inilah yang Anda lakukan saat A/B menguji elemen kecil. Anda mengidentifikasi masalah, seperti tombol yang tidak terlalu mencolok, misalnya. Kemudian, Anda semakin dekat dengan tujuan Anda untuk membuat versi terbaik dari halaman arahan pasca-klik Anda (atau begitulah menurut Anda) dengan menguji apa yang Anda hipotesiskan sebagai yang lebih baik. Jika itu tidak berhasil, Anda menguji yang lain.

Namun, pada titik tertentu, Anda akan mencapai titik pengembalian yang semakin berkurang yang disebut “maksimum lokal”.

Maksimum lokal dan maksimum global

Alasan metode di atas disebut heuristik “pendakian bukit” adalah karena metode ini memiliki batasan utama yang dapat membuat Anda menggaruk-garuk kepala di atas bukit sambil melihat ke puncak gunung — tempat halaman arahan pasca-klik terbaik Anda berada. Dr. Dewey menjelaskan:

Mendaki bukit adalah strategi sederhana, tetapi tidak selalu berhasil. Salah satu jebakan potensial adalah "masalah kaki bukit". Jika Anda memilih langkah apa pun yang membawa Anda menanjak (atau ke arah tertentu), Anda mungkin akan mendaki kaki bukit yang terletak di antara Anda dan gunung, mengabaikan prosedur yang jauh lebih efisien untuk mengitarinya. Dengan kata lain, jika Anda langsung menuju tujuan tanpa fleksibilitas, Anda mungkin harus membayar mahal, membuang banyak energi, atau menyebabkan lebih banyak pekerjaan untuk diri sendiri tanpa berkontribusi pada tujuan.

Dalam istilah pengoptimalan, "kaki bukit" ini disebut "maksimum lokal". Ini adalah versi terbaik dari halaman Anda saat ini, yang ketika A/B diuji lebih lanjut, akan menghasilkan hasil yang semakin berkurang. Puncak gunung ini disebut “maksimum global”. Itu adalah versi terbaik dari halaman arahan pasca-klik Anda. Berikut adalah grafik yang berguna untuk diilustrasikan:

Dengan memulai dengan halaman arahan pasca-klik tunggal dan pengujian A/B elemen kecil satu per satu untuk meningkatkannya, Anda semakin mendekati maksimum lokal itu, tetapi metode ini tidak akan pernah membawa Anda ke puncak gunung itu. Jadi bagaimana Anda menavigasi jalan ke sana?

Pengujian A/B untuk mencapai maksimum global

Dalam sebuah posting blog berjudul “Jangan Terjebak dalam A/B Testing Minutiae,” Rand Fishkin dari Moz menjelaskan skenario frustasi yang mungkin terjadi terlalu dekat dengan rumah:

Katakanlah Anda menemukan halaman/konsep yang relatif Anda sukai dan mulai menguji hal-hal kecil - mengoptimalkan di sekitar minimum lokal. Anda mungkin menjalankan tes selama 4-6 bulan, mendapatkan peningkatan 5% dalam rasio konversi Anda secara keseluruhan dan merasa cukup baik. Sampai...

Anda menjalankan ide baru dan besar lainnya dalam pengujian dan meningkatkan lebih lanjut. Sekarang Anda tahu bahwa Anda telah membuang-buang waktu untuk mengoptimalkan dan menyempurnakan halaman yang konsep keseluruhannya tidak sebaik halaman baru, kasar, dan tidak dioptimalkan yang baru saja Anda uji untuk pertama kalinya.

Sebaliknya Fishkin, seperti influencer pemasaran lainnya, merekomendasikan pengujian A/B “perbaikan” dan “ide besar” terlebih dahulu — atau, dengan kata lain, menguji halaman yang sangat berbeda. Dari halaman yang sangat berbeda itu, halaman yang berkinerja terbaik paling dekat dengan maksimum global. Itulah yang harus Anda sesuaikan dengan pengujian multivarian: tombol vs. tombol, judul vs. judul, dll. Beberapa studi kasus mendukung metode ini.

Pengujian A/B untuk maksimum global

1. Facebook

Pada tahun 2008, Facebook menguji desain navigasi yang sama sekali baru. Tim mereka memindahkannya dari kiri halaman ke drop-down di sebelah kanan. Namun, dengan melakukan itu, mereka membuat aplikasi dalam navigasi kurang terlihat oleh pengguna, yang menghasilkan lebih sedikit lalu lintas ke aplikasi tersebut. Karena mereka adalah sumber pendapatan yang berharga bagi Facebook, itu menjadi masalah.

Setelah mencoba menyelamatkan desain baru dengan beberapa trik keterlibatan, tim pengoptimalan menyadari bahwa mereka telah mencapai maksimum lokal dan membatalkan semuanya. Dari Pengembang Produk Facebook, Adam Mosseri:

Apa yang kami lakukan di sini adalah kami mengoptimalkan maksimum lokal. Dalam kerangka kerja ini, hanya ada begitu banyak lalu lintas yang dapat kami salurkan ke aplikasi. Dan yang kami butuhkan adalah perubahan struktural. Premis kami tidak aktif. Kepentingan kami membawa kami ke jalan yang salah. Kami tidak menyadarinya […] kami mengoptimalkan sesuatu secara lokal, dan kami perlu agak mengganggu untuk bisa keluar darinya.

2. Mozo

Halaman variasi ini, dibuat oleh Pakar Tingkat Konversi untuk Moz, enam kali lebih panjang dari aslinya. Ini menampilkan lebih banyak infografis, judul yang berbeda, dan video, di antara elemen lain yang tidak ada di halaman asli. Ini mengungguli kontrol sebesar 52%.

Jika tim hanya bekerja untuk meningkatkan elemen pada halaman asli, mereka tidak akan pernah menambahkan konten yang meningkatkan konversi hingga setengahnya. Dari penguji:

Dalam analisis kami tentang presentasi tatap muka yang efektif dari Rand, kami melihat bahwa dia membutuhkan setidaknya lima menit untuk menjelaskan produk berbayar Moz. Halaman yang ada lebih seperti ringkasan satu menit. Setelah kami menambahkan elemen kunci dari presentasi Rand, halaman menjadi lebih panjang.

3. Kepadatan Server

Sebagian besar studi kasus pengujian A/B yang Anda temukan secara online berkaitan dengan tampilan halaman web. Yaitu warna tombol vs. warna tombol atau gambar vs. gambar, dan jumlahnya terus bertambah setiap hari. Akibatnya, kebanyakan orang yang mendalami pengujian A/B berasumsi bahwa itu hanya dapat digunakan untuk desain web.

Namun, konsep pengujian A/B dapat diterapkan pada apa saja, termasuk desain produk atau bahkan struktur harga, seperti yang akan Anda lihat dengan contoh dari Sever Density ini.

Perusahaan, layanan pemantauan server dan situs web, mengizinkan pelanggannya membayar berdasarkan berapa banyak server dan situs web yang mereka perlukan untuk dipantau:

Struktur itu dimaksudkan untuk memperluas basis pelanggan, yang memang demikian, tetapi sekarang pandangan tim tertuju pada pendapatan yang lebih tinggi. Jadi, mereka A/B menguji perombakan total harga mereka, dengan model paket:

Struktur baru sebenarnya menghasilkan lebih sedikit konversi, tetapi nilai masing-masing meroket. Berikut adalah hasilnya:

Nilai pesanan rata-rata sekarang lebih dari $55 dibandingkan dengan yang lama: $19,70. Takeaways mengingatkan penguji tentang dua hal penting:

Pengujian A/B dapat digunakan untuk lebih dari sekadar perubahan desain yang dangkal.
Konversi bukanlah akhir segalanya. Terkadang lebih sedikit konversi memberi Anda hasil yang lebih baik.

Bagaimana Anda menemukan maksimum global dan lokal?

Ingat: Kekuatan pengujian A/B semakin mendekati maksimum global dengan perubahan besar. Untuk menemukan maksimum lokal, Anda sebaiknya menggunakan pengujian multivarian.

Pernahkah Anda terjebak dalam pengujian ketat satu elemen halaman pada satu waktu? Apakah Anda membuat beberapa perubahan per pengujian untuk menemukan maksimum global?

Pelajari cara memberikan personalisasi iklan 1:1 untuk setiap audiens yang Anda miliki dengan Demo Instapage Enterprise hari ini.