Eski Hint astrolojisini kullanarak A/B testi sonuçlarını tahmin edin

VWO'da, pazarlama ve ürün ekiplerinin işleri için neyin en iyi neyin işe yarayıp neyin yaramadığını bulmak için gereken zaman ve çabayı azaltmasına yardımcı olma misyonuna sahibiz. 2010 yılında, BT ekiplerini dahil etmeden web sayfalarını düzenlemek ve A/B testleri için varyasyonlarını oluşturmak için iş ekipleri için Kendin Yap Görsel Düzenleyicisine öncülük ettik. Bu yenilik, bir A/B testi başlatma çabasını haftalardan saatlere indirdi ve A/B testi endüstrisi o zamandan beri eskisi gibi olmadı.

Ancak, A/B testi yapan herkesin bildiği gibi, hangi sürümün daha iyi olduğu konusunda istatistiksel olarak anlamlı sonuçlar almaya başlamak için hala haftalarca beklemeniz gerekiyor.

Bu bekleme süresini de kısaltmanın bir yolu olup olmadığını merak ediyorduk. Verilerin gelmesi için haftalar veya aylar beklemeden hangi sürümün kazanacağını anında bilmenin bir yolu olsaydı harika olmaz mıydı?

AI yardımcı olabilir mi?

Döndüğümüz ilk araştırma yönü, gelişen AI teknolojisiydi. Sinir ağları, makine öğrenimi ve veri bilimi hakkında kesinlikle bir şeyler duymuşsunuzdur. Böyle bir teknik bize yardımcı olabilir mi? Sinir ağları bugün arabaları sürebiliyorsa, belki de hangi web sitesi sürümünün daha iyi olduğunu tahmin edebilirler mi?

Son birkaç yılda, birkaç teknik denedik ve yapay zeka tekniklerinden birinin işe yaraması için çok para harcadık. Birkaç ay önce, pazarlamacıların test etmek için yeni alternatif başlıklar, CTA'lar ve ürün açıklamaları bulmalarına yardımcı olan, yapay zeka destekli bir web sitesi metin yazarı başlattığımızda biraz ilerleme kaydettik.

Ancak ne yazık ki, benzer AI tabanlı teknikler, A/B test sonuçlarının tahmininde tatmin edici bir performans göstermedi. Görünüşe göre araba kullanmak, dünya Go şampiyonunu yenmek ve tümörleri tespit etmek, hangi web sitesi tasarımının daha iyi bir seçim olacağını tahmin etmekten daha kolay bir problem.

IA'yı girin

Tam da düş projemizden vazgeçmek üzereyken biri bizi odadaki file işaret etti: astroloji. İlk tepkimiz bu saçma öneriyi bir an önce reddetmek oldu. Biz şüpheci bir grubuz ve bizimki gibi ciddi bir işte böyle bir sahte bilime yer yok.

Ama çaresizdik ve bu tamamen saçma fikre son bir şans vermeye karar verdik. Bize dünya çapında milyonlarca insanın burçlar veya Tarot kartları gibi teknikleri kullanarak her türlü fenomeni tahmin ettiği söylendi. İnsanlar evliliklerinin başarılı olup olmayacağını tahmin etmek için bir teknik kullanıyorsa, A versiyonunun B versiyonundan daha iyi olup olmadığını tahmin etmek için kullanılamaz mı?

Maliyet-fayda denklemine baktıktan sonra küçük bir pilot uygulama yapmaya karar verdik. Tahmin ettiğimiz gibi, astroloji işe yaramadıysa, sadece biraz yatırım ve zaman kaybederiz. Ancak işe yaradıysa, pazarlama ve kullanıcı araştırma endüstrisini sonsuza dek değiştirecek.
Böylece, tüm ciddiyetle pilotu başlattık. En öngörülü astroloji tekniği üzerine ilk araştırmayı yaptıktan sonra Hint Astrolojisine (IA) karar verdik. Özellikle papağan astrolojisi üzerinde karar kıldık. Bize güven veren şey, üzerinde bir wikipedia sayfası bile olmasıydı.

Papağan astrolojisinde, bir astrolog kafesteki evcil bir papağanın önüne birden fazla seçenek sunar. Papağan kafesten çıktığında tahmin olarak seçeneklerden birini seçer. Basit ve anlaşılır. Biz zaten sevdik.

Pilotumuz için yaptığımız şey şu:

• Açık, istatistiksel olarak anlamlı bir kazananın (A veya B) olduğu veritabanımızdan 100 A/B testi yapın.
• Ekran görüntülerini yazdırın
• Papağanlı bir Hintli astrologu işe alın ve papağanın 100 deneme boyunca ekran görüntüsü çiftleri arasında seçim yapmasını sağlayın (her A/B testi için bir tane)

Boş hipotezimiz, papağanın rastgele şanstan daha iyisini seçemeyeceğiydi. Yani papağan doğru kazananı ve kaybedeni kabaca %50 şansla seçmelidir.

Ancak papağan 100 üzerinden 80 kez kazananı seçmiş ve bizi hayrete düşürmüştür . Herhangi bir standart binom hesaplayıcıyı (sık ya da bayesian) kullanarak, bunun olma ihtimalinin sıfıra yakın olduğunu hemen anlayacaksınız. Hint Astrolojisi gerçekten işe yaradı!

Belli ki burada bir şeyin peşindeyiz. Yakında bununla ilgili bilimsel bir makale yazmayı ve bulgularımızı en iyi dergilerde sunmayı planlıyoruz. Hepsi çok heyecan verici ve gizemli. Papağan hangi versiyonun en iyi sonucu verdiğini nasıl biliyor? Bunu bilmiyoruz ama bu tekniği gerçek dünyada kullanmamızı engellememeli (aynı şekilde derin öğrenmenin çeşitli problemlerde neden bu kadar etkili olduğunu hala bilmiyoruz ama yaygın olarak kullanılıyor) .

Papağan destekli A/B testi tahminine erken erişim elde edin

VWO içindeki basit kullanıcı arayüzü veya bir API aracılığıyla dünyadaki tüm işletmeler için kullanılabilir hale getirmek için nihai bir hedefle pilotu aktif olarak ölçeklendirmeye çalışıyoruz. Asıl zorluk, yeterli papağan bulmak ve bunu etik olarak yaptığımızdan emin olmaktır. Bunu yaptığımızda, dünyadaki herhangi bir işletme, herhangi bir A/B testi yapmaya gerek kalmadan en uygun kullanıcı arayüzüne hızla yakınlaşabilecektir.

Bu teknolojiye erken erişim isteyenler için bazı yerlerimiz var. Bir şans vermek isterseniz, bize buradan e-posta gönderin: [email protected]

Bir dakika ne?

Peki, şüpheci bir grup olduğumuzu söylememiş miydik? Astrolojinin işe yaradığına dair hiçbir bilimsel kanıt olmadığı ortaya çıktı. Ayrıca, herhangi bir kuşun veya hayvanın klinik veya tıbbi araştırma dışında herhangi bir şey için kafese konulmasını şiddetle kınıyoruz (klinik araştırmalarda bile, hesaplamalı ve fiziksel modellerin giderek artan şekilde gerçek hayvanların yerini almasını diliyoruz).

A/B testi sonuçlarının tahmin edilmesi ihtimali sizi heyecanlandırdıysa, yalnız değilsiniz. Aynı şey için heyecanlıyız ve papağan astrolojisi işe yaramasa da, iş ekiplerinin A/B testlerinin her birinde daha yüksek bir başarı olasılığı elde etmelerine yardımcı olma yolunda ilerleme kaydetmeye devam etmeye kararlıyız.

Geçen yıl yapay zeka destekli bir web sitesi metin yazarı başlattıktan sonra, yakın zamanda yapay zeka destekli bir ısı haritası tahmincisi başlattık. Web sayfası URL'nizi girdikten sonra bir ekran görüntüsü alırız ve web sitesindeki tıklamaların dağılımını tahmin etmek için derin öğrenmeyi kullanırız. Bu, web sitenizi canlı hale getirmeden veya üzerinde bir ısı haritası aracı kullanmadan önce bile web sitenizdeki bariz ölü bölgeleri veya dikkat dağıtıcıları tespit etmenize yardımcı olabilir.

Bu aracın kullanımı ücretsizdir. Bu yüzden, birçok web sitesinde defalarca denemekten çekinmeyin.

A/B testinden kurtulabileceğinizi umduğunuz için üzgünüz, ancak umarız yazıyı okurken eğlenmişsinizdir.

Nisan Şakası gününüz kutlu olsun!

Güldüm mü? [email protected] adresinden bana bir not gönderin. Tüm e-postaları okuyup yanıtlıyorum.