Preziceți rezultatele testelor A/B folosind astrologia indiană veche

Noi, cei de la VWO, avem misiunea de a ajuta echipele de marketing și de produs să reducă timpul și efortul necesar pentru a afla ce funcționează cel mai bine pentru afacerea lor și ce nu. În 2010, am lansat editorul vizual Do-It-Yourself pentru echipele de afaceri pentru editarea paginilor web și crearea variantelor acestora pentru teste A/B fără a implica echipele IT. Această inovație a redus efortul de a lansa un test A/B de la săptămâni la ore, iar industria de testare A/B nu a mai fost la fel de atunci.

Dar, după cum știe oricine care a efectuat un test A/B, mai trebuie să așteptați săptămâni pentru a începe să obțineți rezultate statistice semnificative despre care versiune este mai bună.

Ne-am întrebat dacă există o modalitate de a reduce și această perioadă de așteptare. N-ar fi minunat dacă ar exista o modalitate de a ști instantaneu ce versiune va câștiga fără să aștepte săptămâni sau luni pentru a ajunge datele?

Poate AI ajuta?

Prima direcție de cercetare către care ne-am îndreptat a fost tehnologia AI în plină expansiune. Cu siguranță ați fi auzit despre rețelele neuronale, învățarea automată și știința datelor. Ne-ar putea ajuta o astfel de tehnică? Dacă rețelele neuronale pot conduce mașini astăzi, poate că pot prezice și ce versiune de site este mai bună?

În ultimii ani, am încercat mai multe tehnici și am investit mulți bani în încercarea de a face ca una dintre tehnicile AI să funcționeze. Am făcut unele progrese când în urmă cu câteva luni, am lansat un copywriter pentru site-uri bazat pe inteligență artificială, care i-a ajutat pe specialiști în marketing să vină cu noi titluri alternative, CTA și descrieri de produse de testat.

Dar, din păcate, tehnici similare bazate pe AI nu au funcționat satisfăcător la predicția rezultatelor testelor A/B. Se pare că conducerea mașinilor, învingerea campionului mondial Go și detectarea tumorilor este o problemă mai ușoară decât a prezice designul site-ului web care va fi o alegere mai bună.

Introdu IA

Pe când aproape că eram pe cale să renunțăm la proiectul nostru de vis, cineva ne-a îndreptat către elefantul din cameră: astrologia. Prima noastră reacție a fost să respingem imediat această sugestie absurdă. Suntem o mulțime de sceptici și nu există loc pentru o astfel de pseudoștiință într-o afacere serioasă ca a noastră.

Dar eram disperați și am decis să dăm o ultimă șansă acestei idei total absurde. Ni s-a spus că milioane de oameni din întreaga lume prezic tot felul de fenomene folosind tehnici precum horoscoapele sau cărțile de tarot. Dacă oamenii folosesc o tehnică pentru a prezice dacă căsătoria lor va reuși sau nu, nu poate fi folosită pentru a prezice dacă versiunea A este mai bună decât versiunea B?

După ce ne-am uitat la ecuația cost-beneficiu, am decis să facem un mic pilot. Dacă, așa cum am prezis, astrologia nu a funcționat, vom pierde puțin timp și investiții. Cu toate acestea, dacă a funcționat, va schimba pentru totdeauna industria de marketing și de cercetare a utilizatorilor.
Deci, cu toată seriozitatea, am pornit pilotul. După ce am făcut cercetări inițiale cu privire la cea mai predictivă tehnică de astrologie, ne-am stabilit pe astrologia indiană (IA). În special, ne-am hotărât pe astrologia papagalilor. Ceea ce ne-a dat încredere în el a fost că există chiar și o pagină wikipedia pe el.

În astrologia papagalului, un astrolog prezintă mai multe opțiuni în fața unui papagal în cușcă. Când papagalul este lăsat să iasă din cușcă, alege una dintre opțiuni ca predicție. Simplu și direct. Ne-a plăcut deja.

Ceea ce am făcut pentru pilotul nostru este următorul:

• Luați 100 de teste A/B din baza noastră de date unde a existat un câștigător clar, semnificativ statistic (fie A sau B)
• Printează-le capturile de ecran
• Recrutați un astrolog indian cu un papagal și alegeți papagalul între perechile de capturi de ecran în 100 de încercări (una pentru fiecare test A/B)

Ipoteza noastră nulă a fost că papagalul nu ar putea alege mai bine decât șansa aleatorie. Adică, papagalul ar trebui să aleagă corect câștigătorul și învinsul, fiecare cu o șansă de 50%.

Cu toate acestea, spre uimirea noastră, papagalul a ales câștigătorul de 80 de ori din 100 . Folosind orice calculator binom standard (fie frecventist sau bayesian), veți afla rapid că șansele ca acest lucru să se întâmple sunt aproape de zero. Astrologia indiană a funcționat cu adevărat!

Evident că avem ceva aici. În curând, intenționăm să scriem o lucrare științifică pe această temă și să prezentăm descoperirile noastre într-un jurnal de top. Totul este foarte interesant și misterios. Cum știe papagalul care versiune funcționează cel mai bine? Ei bine, nu știm asta, dar nu ar trebui să ne împiedice să folosim tehnica în lumea reală (la fel, încă nu știm de ce învățarea profundă este atât de eficientă la diferite tipuri de probleme, dar este folosită pe scară largă) .

Obțineți acces din timp la predicția testului A/B alimentat de papagali

Încercăm în mod activ să extindem pilotul cu un eventual obiectiv de a-l face disponibil pentru toate companiile din lume prin intermediul unei interfețe de utilizator simplă în interiorul VWO sau printr-un API. Principala provocare este să găsim destui papagali și să ne asigurăm că facem acest lucru în mod etic. Odată ce facem acest lucru, orice companie din lume va putea converge rapid către o interfață optimă de utilizator, fără a fi nevoie să facă vreo testare A/B.

Avem câteva sloturi pentru persoanele care doresc acces timpuriu la această tehnologie. Dacă doriți să încercați, trimiteți-ne un e-mail aici: [email protected]

Stai ce?

Ei bine, nu am spus că suntem o grămadă de sceptici? Se pare că nu există dovezi științifice că astrologia funcționează. În plus, condamnăm ferm punerea în cușcă a oricărei păsări sau animal pentru orice altceva decât cercetarea clinică sau medicală (chiar și în cercetarea clinică, ne dorim ca modelele computaționale și fizice să înlocuiască din ce în ce mai mult animalele reale).

Dacă ai fost încântat de perspectiva predicției rezultatelor testului A/B, nu ești singur. Suntem încântați de același lucru și, deși astrologia papagalului nu funcționează, ne angajăm să continuăm să facem progrese pentru a ajuta echipele de afaceri să obțină o probabilitate mai mare de succes în fiecare dintre testele lor A/B.

După ce am lansat anul trecut un copywriter pentru site-uri bazat pe inteligență artificială, am lansat recent un predictor de hărți termice bazat pe inteligență artificială. După ce introduceți adresa URL a paginii dvs. web, facem o captură de ecran și folosim deep learning pentru a prezice distribuția clicurilor pe site. Acest lucru vă poate ajuta să identificați zonele moarte evidente sau elementele de distracție pe site-ul dvs. chiar înainte de a-l activa sau de a utiliza un instrument de hărți termice pe acesta.

Acest instrument este gratuit de utilizat. Așa că nu ezitați să îl încercați de câte ori pe cât mai multe site-uri web.

Ne pare rău că ți-am dat speranța că poți scăpa de testarea A/B, dar sper că te-ai distrat citind postarea

O zi a pacalelilor fericita!

Am râs? Trimite-mi o notă la [email protected]. Citesc și răspund la toate e-mailurile.