A/A Testi Nedir ve Pazarlamacılar Neden Dikkat Etmeli?

Bu senaryoyu yaşadınız mı? Yeni düğme ve başlık kombinasyonunuzun daha fazla dönüşüm sağlayıp sağlamayacağını keşfetmek için bir A/B testi kurarsınız…

Tıklama sonrası açılış sayfalarınıza (kontrol ve varyasyon) eşit trafik çekersiniz ve yazılımınız varyasyonunuzu %99 güvenle kazanan ilan ettiğinde bir ay sonra durursunuz…

Yeni "kazanan" tasarımı kullanıma sunuyorsunuz, ancak birkaç iş döngüsünden sonra, dönüşüm oranındaki %50'lik artışın kârlılığınız üzerinde hiçbir etkisi olmuyor. Kafan karıştı. sinirlisin...

Ve muhtemelen yanlış bir pozitif test sonucunun kurbanısınız.

Yanlış pozitif test sonucu nedir?

%50'lik bu dönüşüm oranı artışı neden daha fazla satış anlamına gelmiyor? Copyhackers'dan Lance Jones, bunun nedeninin, muhtemelen var olmaması olduğunu söylüyor.

Testinizden elde edilen satışlarda veya gelirde artışı görmemeniz tamamen mümkündür (hatta büyük olasılıkla), çünkü ilk etapta asla orada değildi. Testinizde bilmeden bir "yanlış pozitif" almış olabilirsiniz - bu, Tip I istatistiksel hata olarak bilinir, aksi takdirde gerçek bir boş hipotezin yanlış reddi olarak da bilinir. Bu bir ağız dolusu, bu yüzden onu yanlış bir pozitif olarak hatırlıyorum.

Ağız dolusu ya da değil, bu Tip 1 istatistiksel hatalar düşündüğünüzden daha yaygındır. AB test sonuçlarının yaklaşık %80'inin hayali olduğu tahmin edilmektedir.

Yanlış pozitiflere dayalı önemli kararlar alıyorsanız, en iyi ihtimalle optimizasyonu şansa bırakıyorsunuz demektir. En kötü ihtimalle, tıklama sonrası açılış sayfalarınızın dönüşüm oranını gerçekten kötüleştiriyorsunuz.

Neyse ki, zehirli verilerle mücadele etmenin bazı yolları var. Bunlardan biri muhtemelen zaten aşina olduğunuz bir test yöntemine benziyor…

A/A testi nedir?

A/B testi, hangisinin daha iyi performans gösterdiğini görmek için trafiği iki farklı sayfaya yönlendirmeyi içerir - bir orijinal (sizin kontrolünüz) ve başka bir sürüm (sizin varyasyonunuz).

Benzer şekilde, A/A testi, hangisinin daha iyi performans gösterdiğini görmek için trafiği iki sayfaya yönlendirmeyi içerir. Ancak A/B testinden farklı olarak, A/A testi birbirinin aynı iki sayfayı karşı karşıya getirir ve bir artış keşfetmek yerine amaçları kontrolünüz ile varyasyonunuz arasında hiçbir fark bulamamaktır.

Neden A/A testi yaparsın?

“Aynı iki sayfayı birbirine karşı test etmek ne işe yarar?” diye kafanızı kaşıdığınız için sizi suçlamıyoruz.

Aptalca gelebilir, ancak bazı profesyonel test uzmanlarının A/B testlerini test etmeden önce test etmek için kullandıkları bir tekniktir. (Ha?)

Doğru test sonuçları, istatistiksel anlamlılıktan fazlasını gerektirir

Herkes A/B testi yapabilir, ancak çok azı geçerli bir A/B testi yapabilir (unutmayın: Test sonuçlarının yalnızca yaklaşık %20'si gerçekten meşrudur).

Doğru test verileri üretmek, büyük ve temsili bir örneklem büyüklüğü ile istatistiksel anlamlılığa ulaşmaktan fazlasını içerir. Sonuçlarınızdan emin olmak için, örneğin bir dizi geçerlilik tehdidiyle lekelenmediğinden emin olmalısınız.

Bu tehditlerden biri olan araç etkisi, A/A testlerinin mücadele için en yararlı olduğu şeydir.

Enstrüman etkisi nedir?

Geçerlilik tehditlerine karşı koruma, A/B testine başlamadan önce başlar. CXL'den Peep Laja, enstrüman etkisinin çoğu test sonucunu zehirleyen şey olduğunu söylüyor:

Bu en yaygın sorundur. Test araçlarında (veya araçlarda) testte hatalı verilere neden olan bir şey olduğunda. Genellikle web sitesindeki yanlış kod uygulamasından kaynaklanır ve tüm sonuçları çarpıtır.

Bu nedenle, bir test kurarken araçlarınızın doğru şekilde yapılandırıldığından ve gerektiği gibi çalıştığından emin olmanız önemlidir. Değillerse, şu yaygın sorunlar ortaya çıkabilir:

• Temel performans göstergelerinin yanlış bildirilmesi. Tek bir araçtaki tek bir hata, verilerinizi karıştırabilir; bu nedenle, tüm test bilgilerinizi izlemek için asla tek bir platforma güvenmemelisiniz. En azından, test yazılımınızda ve web sitesi izlemede gördüğünüz metriklerin doğru olup olmadığını iki kez kontrol etmek için Google Analytics ile entegre edin. Daha da iyi sonuçlar için başka bir araçla üç kez kontrol edin. Nispeten yakından eşleşmeyen herhangi bir rapordan şüphelenin.
• tıklama sonrası açılış sayfası görüntüleme sorunları. Küçük kodlama hataları, A/B testiniz sırasında görüntüleme sorunları gibi büyük geçerlilik tehditlerine neden olabilir. Bu nedenle, tıklama sonrası açılış sayfalarınızın tüm cihazlarda ve tarayıcılarda olması gerektiği gibi göründüğünden ve ziyaretçilerinizin "titreme efekti" denen bir şeyden etkilenmediğinden emin olmanız çok önemlidir. Diğerlerinin yanı sıra, yavaş bir web sitesi bu soruna neden olabilir; bu sorun, kontrolünüz değişiklikten hemen önce ziyaretçinize anlık olarak görüntülendiğinde ortaya çıkar.
• Bir testi çok erken durdurmak. Bazı test yazılımları, numune boyutu yeterince büyük olmadığında veya hedef müşterinizi temsil etmediğinde, kazanan bir sayfayı erken ilan eder. Unutmayın: İstatistiksel anlamlılığa ulaşmak , testinizi durdurma zamanının geldiği anlamına gelmez. Ne kadar uzun süre çalıştırırsanız, sonuçlarınız o kadar doğru olur.

Bu sorunlardan herhangi biri (ve daha fazlası) testinizin sonunda yanlış pozitife yol açabilir, bu nedenle Peep test kullanıcılarını dikkatli olmaları konusunda uyarır:

Bir test oluşturduğunuzda, bir şahin gibi izleyin. İzlediğiniz her bir hedefin ve ölçümün kaydedildiğini gözlemleyin. Bazı ölçümler veri göndermiyorsa (örneğin, sepete tıklama verileri ekle), testi durdurun, sorunu bulun ve düzeltin ve verileri sıfırlayarak baştan başlayın.

Ancak herkes, özellikle yeni bir yazılım kullanırken, her iki ayağıyla da A/B testine hemen başlamakta kendini rahat hissetmez. Bu nedenle, ek bir önlem olarak, bazı uygulayıcılar araçlarını A/B testine başlamadan önce değerlendirmek için A/A testi yaparlar.

Denemeniz doğru bir şekilde kurulmuşsa, bir A/A testinin sonunda her iki sayfa da benzer bir dönüşüm oranıyla ortaya çıkmalıdır. Aşağıdaki testçilerin gösterdiği gibi, bu her zaman gerçekleşmez.

A/A testi örnekleri

Yanlış pozitifler gerçekten bu kadar yaygın mı? Bir sayfa gerçekten klonundan daha iyi performans gösterebilir mi? Bu adamlar, aşağıdaki blog yazılarında bulgularını bulmak ve ortaya çıkarmak için A/A testini kullandılar…

1. Ana Sayfa Bölünmüş Test, Popüler Test Araçlarının Büyük Eksikliğini Ortaya Çıkardı

11 Kasım 2012'de Copyhackers ekibi ana sayfalarında aşağıda resmedilen bir A/A split testi başlattı:

18'inde - 6 gün sonra - test araçları %95 güvenle kazanan ilan etti. Yine de doğruluk adına ekip, testin bir gün daha çalışmasına izin vermeye karar verdi - bu noktada yazılımları %99,6 güven düzeyinde bir kazanan ilan etti:

Ana sayfaları , aynı sayfadan yaklaşık %24 daha iyi performans gösteriyordu ve yazılıma göre, sonucun yanlış pozitif olma olasılığı yalnızca %0,4 idi. Yine de ekip, testin yaklaşık üç gün daha çalışmasına izin verdi ve farklılıklar sonunda dengelendi:

Ama mesele bu değil. Mesele şu ki: Test aracı çok erken bir kazanan ilan etti. Copyhackers ekibi onu çalıştırmaya devam etmeseydi, deneylerinde bir sorun olduğunu yanlış bir şekilde varsayacaklardı. Test hakkında daha fazla bilgiyi buradan okuyun.

2. A/A Testi: Kesinlikle Hiçbir Şey Yapmadan Dönüşümleri %300 Nasıl Artırdım

Bu alaycı başlık, 8 ay boyunca 750.000 e-posta abonesi üzerinde bir dizi A/A testi yapan David Kadavy'den ve kendi kendini "kurtarıcı tesettürlü girişimci" ilan eden yazardan geliyor. Bu süre zarfında, aşağıdaki gibi istatistiksel olarak anlamlı sonuçlar üretti:

Bu sonuçlar arasında şunlar vardı:

• E-posta açılışlarında %9'luk bir artış
• Tıklamalarda %300 artış
• %51 daha düşük abonelikten çıkma oranı

Diyor:

Birçok girişimci girişimci için (eski ben dahil), bu "oh vay be, açılışları %10 artırdın!" gibi görünüyor. Hatta bunu Visual Web Sitesi Optimize Edici'nin önem hesaplayıcısına girebilir ve p=.048 olduğunu görebilirler. “İstatistiksel olarak anlamlı!” onlar (veya ben) haykırabilir.

Gerçek şu ki, bunların hepsi A/A testleriydi. Birbirine karşı test edilen içerik aynıydı. Sonuçlarının daha fazlasını burada görün.

A/A testleri yapmalı mısınız?

Bu sorunun cevabı kime sorduğunuza bağlı.

Daha fazla gelire eşit olmayan büyük dönüşüm artışları görmeye devam eden Neil Patel, "Önce bir A/A testi yapmanız gerçekten önemli çünkü bu, hatalı yazılımlarla zaman kaybetmemenizi sağlamaya yardımcı olacaktır" diyor.

Öte yandan, CXL'den Peep Laja, A/A testlerinin kendilerinin zaman kaybı olduğunu söylüyor. Peki kim haklı?

A/A testiyle ilgili iki büyük sorun

Teorik bir bakış açısından, A/A testi çok mantıklı. Her şeyden önce, bir A/B testi çalıştırırken doğruluk çok önemlidir ve testinizi test etmek, bunu sağlamanın birçok yolundan yalnızca biridir.

Ancak gerçek dünyadaki test ortamlarında, A/A testleri yarardan çok zarar verme potansiyeline sahiptir. Craig Sullivan şöyle açıklıyor:

Benim için sorun, test çalıştırma süresini bir A/A testi periyoduyla önceden yüklemek zorunda kalarak her zaman gerçek trafik ve test süresi tüketmek. Ayda 40 test yapmaya çalışırsam, bu, canlı yayın yapma yeteneğimi sekteye uğratır. 2-4 hafta boyunca A/A testi yapmak yerine, denemede yarım günlük bir KG testi yapmayı tercih ederim.

Bu sorun bir. A/A testleri, A/B testleri ile web sitenizin ziyaretçileri hakkında daha fazla bilgi edinmek için kullanabileceğiniz gerçek zamanlı ve trafiğe mal olur.

İkinci sorun , Copyhackers'ın vaka çalışmasında örneklenmiştir. A/B testleri gibi, A/A testlerinin de dikkatle tasarlanması ve izlenmesi gerekir, çünkü onlar da yanlış pozitiflere karşı hassastır.

Başka bir deyişle, A/A testiniz size bir sayfanın diğerinden daha iyi performans gösterdiğini söyleyebilir, ancak bu durumda (bu şans düşündüğünüzden çok daha yüksektir - yaklaşık %50)

Copyhackers ekibi, test aracını dinleseydi ve sadece altı gün içinde bir kazanan ilan etseydi, ana sayfalarının neden tek yumurta ikizinden daha iyi performans gösterdiğini anlamaya çalışmak için daha da fazla zaman harcarlardı (gerçekten öyle değilken) .

A/A testinin en büyük faydası

Bu sorunlara rağmen, A/A testi, gerçek testler sırasında daha da büyük sorunları yakalamanıza yardımcı olma potansiyeline sahiptir. Bu testlerin sonuçları önemli iş kararlarını dayandırdığınız sonuçlarsa, bu dikkate alınması gereken güçlü bir faydadır.

A/A testi yapmaya karar verirseniz, bunu yapmanın A/A/B testi olarak adlandırılan potansiyel olarak daha az israflı bir yolu vardır.

A/A/B testi ve A/A testi karşılaştırması

Geleneksel A/A testi yöntemi trafiği boşa harcar çünkü sonunda ziyaretçileriniz hakkında size hiçbir şey söylemez. Ancak, bu teste bir “B” varyasyonu eklerseniz, olabilir. İşte ikisi arasındaki fark:

• A/A testi = birbirine karşı test edilen 2 aynı sayfa
• A/A/B testi = 2 özdeş sayfa ve birbirine karşı test edilen bir varyasyon

A/A/B testi, trafiğinizi üç segmente böler; bu, istatistiksel anlamlılığa ulaşmanın daha uzun süreceği anlamına gelir. Ancak iyi tarafı, bunu yaptığınızda hem test aracınız hem de ziyaretçileriniz hakkında verilere sahip olacaksınız.

Testinize güvenip güvenemeyeceğinizi belirlemek için A ile A sonuçlarını karşılaştırın. İstatistiksel olarak benzerlerse, A ve B'nin sonuçlarını karşılaştırın. Yine de değillerse, tüm testin sonuçlarını atmanız gerekir (ki bu, çalıştırmak için geleneksel bir A/A testinden daha uzun sürer). trafiğiniz üç şekilde bölümlere ayrıldığından).

A/A testinin faydaları eksilerinden daha ağır basıyor mu?

Bazı uzmanlar “evet” derken, diğerleri “hayır” diyor. Andrew First of Leadplum, cevabın aşağıdakiler arasında bir yere düştüğünü düşünüyor gibi görünüyor:

A/A testi muhtemelen aylık bir ilişki olmamalı, ancak yeni bir araç kurarken, verilerinizi test etmek için zaman ayırmaya değer. Kötü verileri şimdi yakalarsanız, aylar sonra test sonuçlarınızdan daha emin olursunuz.

Sonuçta, size kalmış. Yeni bir araç kullanıyorsanız, Andrew'un tavsiyesini almak akıllıca olabilir. Yine de değilseniz, Craig Sullivan'ın liderliğini takip etmek ve bunun yerine titiz bir ön test KG süreci oluşturmak muhtemelen en iyisidir. A/B testi için zamandan, kaynaklardan ve trafikten tasarruf edin.

Test çalışmalarınızdan ve dijital reklam kampanyalarınızdan en iyi şekilde yararlanın, bugün bir Instapage Enterprise demosuna kaydolun.