6 A/B Testi Efsanesi: Bu Efsaneler Sonuçlarınızı Nasıl Karıştırıyor?

A/B testi eğlencelidir. Popüler. Yapması kolaylaşıyor.

Ancak, A/B testini yanlış yapıyorsanız, yine de çok fazla zaman ve kaynak harcıyor olabilirsiniz.

A/B testinin giderek yaygınlaşmasına rağmen, konuyla ilgili hala bazıları oldukça yaygın olan birçok efsane var. Herhangi bir teknikten gerçekten değer elde etmek için, onun ne olduğunu anlamak önemlidir - sınırlamaları ve güçlü olduğu yeri anlamak dahil.

Bu makale, bloglarda ve danışmanlar tarafından defalarca dile getirilen en önemli efsaneleri özetleyecek.

1. A/B Testi ve optimizasyon aynı şeydir

Bu biraz titiz görünebilir, ancak A/B testinin kendisi dönüşümleri artırmaz. Birçok makale, "dönüşümleri artırmak için A/B testi yapın" etkisi hakkında bir şeyler söylüyor, ancak bu anlamsal olarak yanlış.

"Çevrimiçi kontrollü deney" olarak da bilinen A/B testi, bir arayüzde yaptığınız değişikliklerin temel ölçümleri nasıl etkilediğini somut verilerle size söyleyen özetleyici bir araştırma yöntemidir.

Akademik olmayan terimlerle bu ne anlama geliyor? A/B testi, optimizasyonun bir parçasıdır , ancak optimizasyon, yalnızca deneme yönünden daha geniş bir teknik yelpazesini kapsar.

Digital Marketer Optimizasyon Direktörü Justin Rondeau'nun dediği gibi, "Dönüşüm oranı optimizasyonu, müşteri deneyimini iyileştirmek ve web sitenizden en fazla dönüşümü elde etmek için veri analizini ve araştırmayı kullanan bir süreçtir."

Optimizasyon gerçekten onaylanmış öğrenme ile ilgilidir. Kâr artışı için en uygun yolu ararken, bir keşif/sömürü sorununu (neyin işe yaradığını bulmak için araştırmak ve yaptığınız zaman kâr için kullanmak) dengeliyorsunuz.

2. Her şeyi test etmelisiniz

CRO'da birinin bir başlıkta belirli bir kelime seçimi hakkında soru sorduğu bir forum okuyordum ("müthiş" veya başka bir şey olduğunu düşünüyorum) ve aşırı kullanılıp kullanılmadığını merak ediyorlardı.

Bir "uzman", diğer benzer kelimeleri ("büyüleyici", "inanılmaz", "harika" vb.)

Bu, insanların %99,95'i için aptalca bir tavsiyedir.

Google'ın mavinin 41 tonunu nasıl test ettiğini herkes duymuştur. Benzer şekilde, Facebook veya Amazon gibi bir sitenin teorik olarak bunun gibi testleri yürütmek için trafiği olduğu oldukça açıktır.

Ancak, küçük ve orta ölçekli bir e-ticaret sitesi (veya SaaS veya her neyse) işletiyorsanız, çok büyük bir şirketin parçası olsanız bile, böyle testler yapmak neredeyse her zaman zaman, kaynak ve trafik kaybıdır.

Neden, sorabilirsiniz? Çünkü önceliklendirme anahtardır.

Herkes bir site bakıp (verilerle haberdar olsun veya olmasın) istiyorsa değişebilir rastgele şeyler onlarca görebilirsiniz. Ama verimlilik bunun neresinde?

En iyi ihtimalle, önemli olmayan şeylere trafik harcıyorsunuz ve bunu yaparsanız sürekli olarak yetersiz sonuçlar elde edeceksiniz (bu durumda paydaşlardan sürekli destek alma konusunda iyi şanslar).

Durum ne olursa olsun, muazzam bir fırsat maliyetiyle karşı karşıyasınız: önemli olmayan şeylere zaman ve kaynak harcadığınız için, kullanıcı deneyimini temelden değiştiren ve iyileştiren değişiklikleri uygulamaktan dışlanıyorsunuz. Gerçek bir fark yaratan (ve gerçek para kazandıran) şeyler.

3. Herkes A/B testi yapmalı

A/B testi inanılmaz derecede güçlü ve kullanışlıdır. Kimse (akıllıca) buna karşı çıkamaz.

Ama bu herkesin yapması gerektiği anlamına gelmez.

Kabaca söylemek gerekirse, ayda 1.000'den az işleminiz (satın almalar, kayıtlar, olası satışlar vb.) varsa - çabanızı başka şeylere harcamaktan daha iyi olacaksınız. Belki aylarca yaklaşık 500 işlemi test ederek kurtulabilirsiniz - ancak bir etki görmek için bazı büyük artışlara ihtiyacınız olacak.

Pek çok mikro işletme, girişim ve küçük işletme (henüz) bu işlem hacmine sahip değil.

Maliyetleri de göz önünde bulundurmalısınız. Hepsi, sadece Optimizely gibi optimizasyon yazılımlarının maliyeti değil. Gibi şeyler:

• Dönüşüm araştırması. Neyi test edeceğinizi bulmanız gerekir (yukarıda belirtildiği gibi).
• Tedavinin tasarlanması (tel çerçeveleme, prototip oluşturma, vb.).
• Testi kodlamak.
• Testi KG yapmak.

Şimdi, diyelim ki %8'lik bir artış elde ettiniz ve bu geçerli bir kazanan. Haftada 125 potansiyel müşteriniz vardı ve şimdi haftada 135 potansiyel müşteriniz var. Yatırım getirisi orada mı? Belki - bu sizin müşteri adayı değerinize bağlıdır. Ancak zaman, kaynaklar ve en önemlisi, eylemlerinizin fırsat maliyetlerini hesaba katmalısınız.

Bu nedenle, testi çalıştırmadan önce ihtiyaç duyduğunuz numune boyutlarını hesaplarken, ROI'deki matematiği de yapın. Gerçek dolar cinsinden %X artışın değeri ne olur?

Zaman değerli bir kaynaktır. Matematik nedeniyle, hala küçükken A/B testinden başka bir yerde harcanması daha iyi olabilir.

4. A/B testi başına yalnızca bir öğeyi değiştirin

Bu muhtemelen orada en yaygın olarak geçen efsanedir. Niyetler iyi, ama bu kusurlu bir öncül.

İşte tavsiye: Test başına yalnızca bir değişiklik yapın, böylece gerçekte neyin fark yarattığını bilirsiniz.

Örneğin, başlığınızı değiştirirseniz, biraz sosyal kanıt eklerseniz ve harekete geçirici mesajınızı ve renginizi değiştirirseniz ve %25'lik bir artış elde ederseniz, bu değişikliğe neyin neden olduğunu nasıl anlayabilirsiniz?

Bu doğru; gerçekten yapamazsın. Ama şunu da sorayım (ve bu özellikle yüksek trafikli sitelerin lüksü olmayanlar için geçerlidir), gerçekten umursar mısınız?

İdeal bir dünyada, özellikle birbirinin üzerine inşa edilen yinelemeli değişikliklerden oluşan bir dünyada, evet, her seferinde bir şeyi test etmek, bir testteki gürültüyü sınırlar ve değişikliğe tam olarak neyin neden olduğunu anlamanızı sağlar.

Ayrıca, En Küçük Anlamlı Biriminizi (SMU) tanımlamanız gerekir ve işlerin biraz zorlaştığı yer burasıdır. Conductrics CEO'su Matt Gershoff bunu çok iyi ifade etti ve bana şunları söyledi:

“Mantığı aşırıya götürmek için, aynı anda birden fazla kelimeyi değiştirdiğiniz için bir başlığı değiştirmenin birden fazla değişiklik yaptığını iddia edebilirsiniz.

Yani ne yapmak istediğine bağlı. CTA'nızın ifadesini önemsiyor musunuz ve gerçekten bir değişikliğe neden olup olmadığını bilmek istiyor musunuz? Sayfanızı kökten değiştiriyor musunuz? Senin siten?

SMU, hedeflerinize bağlıdır ve bana güvenin, gerçek dünyada hiçbir analist veya optimizasyon uzmanı “test başına yalnızca bir değişiklik!” diye bağırmaz.

Bay Rondeau'nun bu gönderide belirttiği gibi, bu sitede hangi şeyi değiştirirdiniz (aşağıdaki resim - bu sitenin eski bir versiyonu bu arada)?

Hatta bu sitenin bir ton trafiği olduğunu ve ayda sekiz geçerli test çalıştırabileceğinizi varsayalım. Bir seferde bir öğe yapıyorsanız, nereden başlarsınız? Arka plan resmini, yazı tipi rengini, yazı tipi boyutunu, üstteki logoyu, gezinme küçük resimlerini, konumu, boyutu, siparişi, kopyayı, gövde kopyasını, hareketli satıcıları vb. test etmeniz sonsuza kadar sürer.

Buradaki amacım şudur: Aynı testte birden fazla değişikliği bir araya getirmekten korkmayın.

5. A/B Testleri haydutlardan/MVT/vb'den daha iyidir (veya daha kötüdür).

Zaman zaman, karmaşık oldukları ve kazanç sağlamadıkları için "çok değişkenli (MVT)'den kaçınmanız gerektiğini" veya haydutların A/B testlerine kıyasla verimsiz olduğunu ya da daha fazla olduklarını savunan makaleler görürsünüz. verimli - ya da her neyse.

Hayatta iyi bir temel kural şudur: Eğer bir ikilemle, şuna karşı şu durumla uğraşıyorsanız, muhtemelen tuzağa düşürülüyorsunuzdur. Muhtemelen yanlış bir ikilemdir.

Gerçek şu ki, MVT'nin diğerlerinde en iyi seçim olduğu bazı durumlarda A/B testi daha iyidir. Haydutlar ve uyarlanabilir algoritmalar ile aynı.

6. Önem düzeyine ulaştığında A/B testini durdurun

İstatistikler hakkında çok ayrıntılı olmayacak olsam da (bilmeniz gereken her şeyi bu yazıda okuyabilirsiniz), çoğunlukla çevrimiçi ortamın doğası gereği “istatistiksel anlamda durdurun” demek yanlıştır.

Bu efsanenin yaygın olması ve pazarlama dünyasındaki istatistiksel bilginin şaşırtıcı bir şekilde içermesi çok yazık.

Test aracınızın size anlamlılığa çok erken ulaştığınızı söylemesi de yaygın bir durumdur. Bu yüzden, tüm inancınızı bu %95 önemine bağlamayın.

İlk olarak, numune büyüklüğünüzü ve test sürenizi önceden hesaplayın. Ardından testi bu kadar uzun süre çalıştırın. Ayrıca, tüm hafta boyunca test edin (Pazartesi günü başlayın? Pazartesi günü bitirin). Ayrıca, durağan olmayan verileri (zaman içinde aynı kalmayan veriler) hesaba katmak için testi birden çok iş döngüsü boyunca çalıştırmanız önerilir. Örneğin, bir haftalık büyük bir satış veya bir PR artışı, verilerinizi biraz bozabilir. Farklı günler bile birçok kez farklı dönüşüm oranlarına sahiptir. Belki Salı günleri %3'lük bir dönüşüm oranınız var, ancak Cumartesi günleri %1,5'lik bir dönüşüm oranınız var ve belki bu fark, test sonrası analizinizi alt üst edecektir.

Bu nedenle, bu gelgitleri hesaba katmak için tam hafta boyunca test edin. CXL'de 3-4 hafta boyunca bir test çalıştırmanızı öneririz.

Ardından, en az %95'lik bir istatistiksel anlamlılık düşünün.

Çözüm

A/B testi inanılmaz derecede güçlüdür. İçgüdüsel karar vermede güçlü bir caydırıcıdır ve bunun yerine hangi verilerin yapmanız gerektiğini söylediğini size gösterir.

A/B testi, hangi tıklama sonrası sayfanın en fazla dönüşüm sağladığını belirlemenize olanak tanır. Bugün bir Instapage Kişiselleştirme Demosu ile sahip olduğunuz her hedef kitle için 1:1 reklam kişiselleştirmeyi nasıl sağlayacağınızı öğrenin.