Mobil A/B Testi: Kaçınmanız Gereken 7 Büyük Hata ve Yanılgı

Genel olarak pazarlamanın büyük ölçüde verilere dayandığı bir sır değil. Aynısı mobil pazarlama ve kullanıcı edinme için de geçerlidir. Bu alanda, App Store ve Google Play için doğru ürün sayfası öğelerini seçmek, bir uygulamanın veya mobil oyunun başarısında çok önemli bir fark yaratabilir. Mobil A/B testi, bu seçimi verilere dayalı olarak yapmanıza yardımcı olan bir araçtır.

Ancak, A/B testinin istenen sonuçları getirmediği veya birisinin mobil deneyleri doğru çalıştırdığından emin olmadığı argümanını kaç kez duyduk? Bu genellikle bazı yaygın hatalar ve verilerin yanlış yorumlanması nedeniyle olur. Bu yazıda, bilginiz başarıya ulaşmanıza yardımcı olacak mobil uygulama A/B testindeki en büyük hataları ve yanıltıcı sonuçları ele alacağım.

1. Doğru miktarda trafik elde etmeden önce bir denemeyi bitirme

Bu, mobil A/B testinde en yaygın hatalardan biridir. Klasik A/B testine bağlıysanız, gerekli trafik miktarını ( örnek boyutu) almadan önce bir denemeyi bitirmek , istatistiksel olarak güvenilmez sonuçlar elde etme riskini taşır .

Güvenilir kanıt elde etmek için hem A hem de B varyasyonları için gerekli trafik miktarına ulaşılana kadar beklemeniz gerekir.

Klasik seçeneğe bir alternatif arıyorsanız, sıralı A/B Testine başvurun. Sen bazal dönüşüm oranı (geçerli varyasyon dönüşüm oranı), istatistik gücü (varsayılan olarak% 80), anlamlılık düzeyi ve Minimum Detectable Etkisi (MDE) belirterek başlamak gerekir - bu örnek boyutunu belirlemek yardımcı olacaktır.

Önem düzeyi varsayılan olarak %5'tir, yani hata payı %5'i geçmeyecektir. Bu değeri , görmek istediğiniz minimum beklenen dönüşüm oranı artışı olan MDE ile birlikte özelleştirebilirsiniz. Not: Bir denemeyi başlattıktan sonra anlamlılık düzeyini, MDE'yi veya istatistiksel gücü değiştirmeyin.

Sıralı A/B testi ile algoritma, önem düzeyindeki varyasyonlarınızı ve denemenin tamamlanmasına kadar kalan trafik miktarını sürekli olarak kontrol eder. SplitMetrics A/B test platformumuzda bu şekilde çalışır.

Alınan ders: Klasik A/B testleri çalıştırıyorsanız, doğru miktarda trafiğe ulaşılana kadar bir denemeyi bitirmeyin. Veya sıralı A/B testini deneyin ve sonuçları istediğiniz zaman kontrol edebileceksiniz.

2. Bir deneyi 7 gün geçmeden bitirmek

Neden en az yedi gün beklemek zorundasın? Eh, çeşitli uygulamalar ve mobil oyunlar, haftanın farklı günlerinde etkinlikte zirveler yaşar . Örneğin, iş uygulamaları Pazartesi günleri etkinlikteki patlamaları izlerken, oyunlar kullanıcılar arasında en çok hafta sonları popülerdir.

Mobil A/B testi denemelerinden güvenilir sonuçlar almak için, bir deneme sırasında uygulamanızın en yoğun günlerini yakalamanız gerekir. Aksi takdirde, sonuçlara atlama riskiyle karşı karşıya kalırsınız.

Örneğin, bir görev yönetimi uygulaması için testler çalıştırıyorsunuz. Bir deneye Çarşamba günü başlar ve Cumartesi günü bitirirsiniz. Ancak hedef kitlenizin çoğu, uygulamanızı Pazartesi günleri kullanıyor, bu nedenle, etkinlik artışı deneme dönemine girmediği için asıl noktayı kaçıracaksınız. Ya da tam tersi, yarış oyununuz için Cuma'dan Pazar'a, yani oyunun en yoğun olduğu günlerde A/B testleri çalıştırıyorsunuz. Bu durumda da sonuçlar yetersiz olacaktır.

Bu nedenle, bir numaralı hatadan kaçınmış olsanız ve ilk gün gerekli miktarda trafik almış olsanız bile, yedi gün geçene kadar denemeyi durdurmayın.

Alınan ders: Her mobil oyun veya uygulama için farklılık gösteren etkinlikteki zayıf zirveler nedeniyle, tam (yedi günlük) döngü geçmeden bir denemeyi bitirmeyin.

3. Tasarımda çok küçük değişiklikleri test etmek

Mobil A/B testinde daha yaygın bir hata, tasarımdaki küçük farklılıklar nedeniyle neredeyse aynı görünen varyasyonları karşılaştırmaktır.

Test ettiğiniz mobil uygulama simgeleri arasındaki tek fark, açık mavi yerine mavi bir arka plan rengiyse veya başka bir ekran görüntüsü varyasyonuna küçük bir ayrıntı eklediyseniz, kesinlikle başınız belada. Kullanıcılar sadece bu kadar küçük değişiklikleri fark etmezler.

Bu durumda, her iki varyasyon da aynı sonucu gösterecektir ve bu tamamen normaldir. Bu nedenle, uygulama mağazası A/B testlerini çalıştırmayı denediyseniz, ancak varyasyonlar eşit şekilde çalıştığından bunlardan vazgeçtiyseniz, neyin yanlış gittiğini düşünmenin zamanı geldi. Belki de varyasyonlarınız hemen hemen aynı görünüyordu.

Önemli bir değişikliği A/B testi yaptığınızdan emin olmak için her iki sürümü de ailenize veya arkadaşlarınıza gösterin. İş arkadaşınızın her bir varyasyona 3-5 saniye bakmasına izin verin. Farkı bilmiyorlarsa, görsel varlıklarınızı yeniden tasarlasanız iyi olur.

Alınan ders: Varyasyonları tasarımda çok küçük değişikliklerle test etmeniz durumunda, aynı sonucu göstermelerini beklemelisiniz. Bu tür değişiklikler kullanıcılar için çok önemsiz olduğundan, birbirinden belirgin şekilde farklı olan uygulama simgelerini ve ekran görüntülerini test etmek daha iyidir.

4. Banner reklamlarınız, uygulama mağazası görsel varlıklarından biriyle aynı tasarıma sahiptir

Örneğin, SplitMetrics gibi bir üçüncü taraf mobil A/B test aracı kullanıyorsanız, trafik satın alır ve reklam ağlarına banner yerleştirirsiniz. Mesele şu ki, böyle bir afiş, test ettiğiniz görsel varlıklardan biri gibi görünmemelidir , ister ekran görüntüsü isterse bir simgedeki aynı öğeler olsun.

Örneğin, eğitim uygulamanız için denemeler çalıştırıyorsunuz. A varyasyonundaki simgeyle aynı öğeye sahip bir afiş tasarlarsınız, B varyasyonu ise tamamen başka bir simgedir. A Varyasyonu, banner kullanıcılarının ilk gördüğü ve tıkladığı tasarımla aynı tasarıma sahip olduğu için daha yüksek dönüşüm oranını gösterecektir.

Araştırmalar, insanlar bir şeyi tekrar tekrar gördüklerinde beyinlerinin bilgiyi daha hızlı işlediğini ve bu da onlara bir hoşlanma hissi verdiğini gösteriyor. Bununla ilgili daha fazla bilgiyi buradan okuyabilirsiniz. Bu nedenle, kullanıcılar zaten tanıdık olan görüntülere bilinçsizce dokunma eğilimindedir.

Alınan ders: Banner reklamlar üzerinde çalışırken tasarımı olabildiğince tarafsız hale getirin. Banner tasarımı, uygulamanızın simgesinin tasarımıyla veya ekran görüntüsü varyasyonlarıyla örtüşmemelidir.

5. Aynı anda birkaç hipotezi test etmek

Birden fazla değişiklik yapıp bunları aynı deney içinde test etmenin bir anlamı yoktur. Bazı mobil pazarlamacılar, birkaç değişiklik yaptıklarından ve aslında sonucu tam olarak neyin etkilediğini bilemedikleri için bir test yaptıktan sonra yanlış sonuçlara varırlar.

Uygulama mağazası ürün sayfası ekran görüntülerinizin rengini değiştirmeye karar verdiyseniz, başka bir arka plan rengiyle bir veya birkaç varyasyon oluşturun ve bir test çalıştırın. Ekran görüntülerinin rengini, sırasını ve metnini aynı anda değiştirmeyin. Aksi takdirde, kazanan varyasyonu göreceksiniz (bırakın B varyasyonu olsun) ve gerçekten işe yarayan renk değişikliği olup olmadığına dair hiçbir fikriniz olmayacak.

Alınan ders: Aynı anda birden fazla hipotezi test ederseniz, hangisinin doğru olduğunu anlayamayacaksınız.

6. İki varyasyon aynıyken durumu yanlış yorumlamak ancak bir kazanan elde etmek

A/A testleri çalıştırırken, bir A/B test aracı iki özdeş varlık arasında kazanan varyasyonu gösterdiğinde kafanız karışabilir. Bu, özellikle Google Play Store'un yerleşik deneme çalıştırma aracı için yaygındır.

SplitMetrics platformunda %5 anlamlılık düzeyinde böyle bir durumda sonucun önemsiz olduğunu göreceksiniz.

Tamamen aynı varyasyonlar arasındaki küçük farklar tamamen tesadüftür. Farklı kullanıcılar biraz farklı tepki verdi. Bu tıpkı yazı tura atmak gibidir: yazı veya tura gelme olasılığınız 50-50'dir ve varyasyonlardan birinin daha iyi sonuç gösterme olasılığı 50-50'dir.

Böyle bir durumda istatistiksel olarak anlamlı bir sonuç elde etmek için kesinlikle tüm kullanıcılardan sonuç almalısınız ki bu imkansız.

Alınan dersler: Aynı varlıkları test ederken kazanan varyasyonu elde ederseniz, A/B test aracınızda yanlış bir şey yoktur, bu sadece bir tesadüftür. Ancak sıralı A/B testi ile sonucun önemsiz olduğunu göreceksiniz.

7. Yeni bir varyasyon mevcut varyasyona yenildiğinde üzülmek

Bazı mobil pazarlamacılar ve kullanıcı edinme yöneticileri, bir deney, mevcut varyasyonun beklemedikleri bir şekilde kazandığını gösterdiğinde hayal kırıklığına uğrar ve yeni varyasyonun sonunda kazanacağı umuduyla daha fazla ücretli trafik için bir bütçe harcamaya başlar.

Hipoteziniz doğrulanmadıysa, kendinizi kötü hissetmeniz için hiçbir neden yoktur. Uygulama mağazası ürün sayfanızdaki bir şeyi test etmeden değiştirmiş olsaydınız, potansiyel müşterilerinizin bir kısmını ve dolayısıyla paranızı kaybederdiniz. Aynı zamanda, bu deney için para harcadıktan sonra bilgi için para ödediniz . Artık uygulamanız için neyin işe yarayıp neyin yaramadığını biliyorsunuz.

Alınan ders: Her şeyin bir nedeni vardır ve A/B testiniz hipotezinizi doğrulamadıysa üzülmemelisiniz. Artık, oyununuz veya uygulamanız için hangi varlıkların en iyi performansı gösterdiğine dair net bir vizyona sahipsiniz.