Przewiduj wyniki testu A/B, korzystając ze starożytnej indyjskiej astrologii

Misją VWO jest pomaganie zespołom ds. marketingu i produktów w skróceniu czasu i wysiłku potrzebnego do ustalenia, co najlepiej sprawdza się w ich firmie, a co nie. W 2010 roku wprowadziliśmy pionierski edytor wizualny Do-It-Yourself dla zespołów biznesowych do edycji stron internetowych i tworzenia ich odmian na potrzeby testów A/B bez angażowania zespołów IT. Ta innowacja zmniejszyła wysiłek związany z uruchomieniem testów A/B z tygodni do godzin, a branża testów A/B od tamtej pory nie jest taka sama.

Ale, jak wie każdy, kto przeprowadził test A/B, nadal trzeba czekać tygodniami, aby zacząć otrzymywać statystycznie istotne wyniki dotyczące tego, która wersja jest lepsza.

Zastanawialiśmy się, czy jest też sposób na skrócenie tego okresu oczekiwania. Czy nie byłoby wspaniale, gdyby istniał sposób na natychmiastowe sprawdzenie, która wersja wygra, bez czekania tygodniami lub miesiącami na przybycie danych?

Czy sztuczna inteligencja może pomóc?

Pierwszym kierunkiem badań, w który się zwróciliśmy, była rozwijająca się technologia AI. Z pewnością słyszałeś o sieciach neuronowych, uczeniu maszynowym i nauce o danych. Czy jedna taka technika może nam pomóc? Skoro sieci neuronowe mogą dziś napędzać samochody, to może potrafią też przewidzieć, która wersja strony jest lepsza?

W ciągu ostatnich kilku lat wypróbowaliśmy kilka technik i zainwestowaliśmy dużo pieniędzy w próbę uruchomienia jednej z technik sztucznej inteligencji. Poczyniliśmy pewne postępy, gdy kilka miesięcy temu uruchomiliśmy copywriter witryny oparty na sztucznej inteligencji, który pomógł marketerom wymyślić nowe alternatywne nagłówki, CTA i opisy produktów do przetestowania.

Niestety, podobne techniki oparte na sztucznej inteligencji nie działały zadowalająco w przewidywaniu wyników testów A/B. Wygląda na to, że prowadzenie samochodu, pokonanie mistrza świata Go i wykrywanie guzów jest łatwiejszym problemem niż przewidywanie, który projekt strony internetowej będzie lepszym wyborem.

Wpisz IA

Gdy już prawie rezygnowaliśmy z naszego wymarzonego projektu, ktoś wskazał nam słonia w pokoju: astrologię. Naszą pierwszą reakcją było natychmiastowe odrzucenie tej absurdalnej sugestii. Jesteśmy grupą sceptyków i w tak poważnym biznesie jak nasza nie ma miejsca na taką pseudonaukę.

Ale byliśmy zdesperowani i postanowiliśmy dać temu całkowicie absurdalnemu pomysłowi ostatni strzał. Powiedziano nam, że miliony ludzi na całym świecie przewidują wszelkiego rodzaju zjawiska za pomocą technik takich jak horoskopy czy karty tarota. Jeśli ludzie używają techniki do przewidzenia, czy ich małżeństwo się powiedzie, czy nie, czy nie można jej użyć do przewidzenia, czy wersja A jest lepsza od wersji B?

Po przyjrzeniu się równaniu kosztów i korzyści zdecydowaliśmy się na mały program pilotażowy. Jeśli, tak jak przewidywaliśmy, astrologia nie zadziała, stracimy trochę czasu i inwestycji. Jeśli jednak zadziała, na zawsze zmieni branżę marketingu i badań użytkowników.
Tak więc z całą powagą uruchomiliśmy pilota. Po przeprowadzeniu wstępnych badań nad najbardziej przewidywalną techniką astrologii, zdecydowaliśmy się na astrologię indyjską (IA). W szczególności postawiliśmy na astrologię papug. To, co dało nam pewność, to fakt, że jest na nim nawet strona wikipedii.

W astrologii papug astrolog przedstawia wiele opcji przed papugą w klatce. Kiedy papuga zostaje wypuszczona z klatki, wybiera jedną z opcji jako przepowiednię. Prosty i bezpośredni. Już to nam się podobało.

To, co zrobiliśmy dla naszego pilota, to:

• Weź 100 testów A/B z naszej bazy danych, w których był wyraźny, statystycznie istotny zwycięzca (albo A lub B)
• Wydrukuj ich zrzuty ekranu
• Zrekrutuj indyjskiego astrologa z papugą i wybierz papugę między parami zrzutów ekranu w 100 próbach (po jednej na każdy test A/B)

Nasza hipoteza zerowa była taka, że ​​papuga nie byłaby w stanie wybrać lepszej niż losowa szansa. Oznacza to, że papuga powinna wybrać właściwego zwycięzcę i przegranego z grubsza 50% szansą.

Jednak ku naszemu zdumieniu papuga wybrała zwycięzcę 80 razy na 100 . Używając dowolnego standardowego kalkulatora dwumianowego (albo częstotliwościowego, albo bayesowskiego), szybko przekonasz się, że szanse na to są bliskie zeru. Astrologia indyjska naprawdę zadziałała!

Oczywiście coś tu mamy. Wkrótce planujemy napisać artykuł naukowy na ten temat i opublikować nasze odkrycia w topowym czasopiśmie. To wszystko jest bardzo ekscytujące i tajemnicze. Skąd papuga wie, która wersja działa najlepiej? Cóż, tego nie wiemy, ale nie powinno to uniemożliwiać nam korzystania z tej techniki w realnym świecie (tak samo, wciąż nie wiemy, dlaczego głębokie uczenie jest tak skuteczne w różnego rodzaju problemach, ale jest szeroko stosowane) .

Uzyskaj wczesny dostęp do przewidywania testów A/B wspomaganych przez papugę

Aktywnie staramy się skalować pilota, aby ostatecznie udostępnić go wszystkim firmom na świecie za pomocą prostego interfejsu użytkownika w VWO lub za pośrednictwem interfejsu API. Głównym wyzwaniem jest znalezienie wystarczającej liczby papug i upewnienie się, że robimy to etycznie. Gdy to zrobimy, każda firma na świecie będzie w stanie szybko uzyskać optymalny interfejs użytkownika bez konieczności przeprowadzania jakichkolwiek testów A/B.

Mamy kilka slotów dla osób, które chcą mieć wcześniejszy dostęp do tej technologii. Jeśli chcesz spróbować, napisz do nas tutaj: [email protected]

Czekaj, co?

Cóż, czy nie powiedzieliśmy, że jesteśmy grupą sceptyków? Okazuje się, że nie ma naukowych dowodów na to, że astrologia działa. Ponadto stanowczo potępiamy umieszczanie w klatkach każdego ptaka lub zwierzęcia w celach innych niż badania kliniczne lub medyczne (nawet w badaniach klinicznych chcielibyśmy, aby modele obliczeniowe i fizyczne coraz częściej zastępowały rzeczywiste zwierzęta).

Jeśli byłeś podekscytowany perspektywą przewidywania wyników testu A/B, nie jesteś sam. Jesteśmy podekscytowani tym samym i chociaż papuga-astrologia nie działa, jesteśmy zaangażowani w dalsze postępy w pomaganiu zespołom biznesowym w osiągnięciu wyższego prawdopodobieństwa sukcesu w każdym z ich testów A/B.

Po uruchomieniu w zeszłym roku copywritera stron internetowych opartego na sztucznej inteligencji, niedawno wprowadziliśmy oparty na sztucznej inteligencji predyktor map ciepła. Po wpisaniu adresu URL strony internetowej wykonujemy zrzut ekranu i wykorzystujemy głębokie uczenie, aby przewidzieć rozkład kliknięć w witrynie. Pomoże Ci to wykryć oczywiste martwe strefy lub elementy rozpraszające w Twojej witrynie , nawet zanim opublikujesz ją lub użyjesz na niej narzędzia mapy termicznej.

To narzędzie jest bezpłatne. Dlatego zachęcamy do wypróbowania go tyle razy na tylu stronach internetowych.

Przykro nam, że dajemy Ci nadzieję, że pozbędziesz się testów A/B, ale mamy nadzieję, że czytanie posta sprawiło Ci przyjemność

Wesołego Prima Aprilis!

Śmiałeś się? Wyślij mi notatkę na adres [email protected]. Czytam i odpowiadam na wszystkie e-maile.