Prognostizieren Sie A/B-Testergebnisse mithilfe der altindischen Astrologie

Wir bei VWO haben die Mission, Marketing- und Produktteams dabei zu helfen, den Zeit- und Arbeitsaufwand zu reduzieren, der erforderlich ist, um herauszufinden, was für ihr Unternehmen am besten funktioniert und was nicht. Im Jahr 2010 haben wir den Do-It-Yourself Visual Editor für Geschäftsteams zum Bearbeiten von Webseiten und zum Erstellen ihrer Variationen für A/B-Tests entwickelt, ohne IT-Teams einzubeziehen. Diese Innovation hat den Aufwand für die Einführung eines A/B-Tests von Wochen auf Stunden reduziert, und die A/B-Testbranche ist seitdem nicht mehr dieselbe.

Aber wie jeder weiß, der einen A/B-Test durchgeführt hat, müssen Sie noch Wochen warten, um statistisch signifikante Ergebnisse darüber zu erhalten, welche Version besser ist.

Wir haben uns gefragt, ob es eine Möglichkeit gibt, diese Wartezeit ebenfalls zu verkürzen. Wäre es nicht wunderbar, wenn es eine Möglichkeit gäbe, sofort zu wissen, welche Version gewinnen wird, ohne wochen- oder monatelang auf das Eintreffen der Daten warten zu müssen?

Kann KI helfen?

Die erste Forschungsrichtung, der wir uns zugewandt haben, war die boomende KI-Technologie. Sie haben bestimmt schon von neuronalen Netzen, maschinellem Lernen und Data Science gehört. Könnte uns eine solche Technik helfen? Wenn neuronale Netze heute Autos fahren können, können sie vielleicht auch vorhersagen, welche Website-Version besser ist?

In den letzten Jahren haben wir verschiedene Techniken ausprobiert und viel Geld investiert, um zu versuchen, eine der KI-Techniken zum Laufen zu bringen. Wir haben einige Fortschritte gemacht, als wir vor ein paar Monaten einen KI-gestützten Website-Texter auf den Markt brachten, der Vermarktern dabei half, neue alternative Schlagzeilen, CTAs und Produktbeschreibungen zum Testen zu entwickeln.

Aber leider haben ähnliche KI-basierte Techniken bei der Vorhersage von A/B-Testergebnissen nicht zufriedenstellend funktioniert. Es scheint ein einfacheres Problem zu sein, Autos zu fahren, den Go-Weltmeister zu schlagen und Tumore zu erkennen, als vorherzusagen, welches Website-Design die bessere Wahl sein wird.

Geben Sie IA ein

Als wir unser Traumprojekt fast aufgeben wollten, wies uns jemand auf den Elefanten im Raum: Astrologie. Unsere erste Reaktion war, diesen absurden Vorschlag sofort abzulehnen. Wir sind ein skeptischer Haufen und in einem seriösen Geschäft wie dem unseren ist kein Platz für solche Pseudowissenschaft.

Aber wir waren verzweifelt und beschlossen, dieser völlig absurden Idee einen letzten Versuch zu geben. Uns wurde gesagt, dass Millionen von Menschen auf der ganzen Welt alle möglichen Phänomene mithilfe von Techniken wie Horoskopen oder Tarotkarten vorhersagen. Wenn Menschen eine Technik anwenden, um vorherzusagen, ob ihre Ehe erfolgreich sein wird oder nicht, kann sie dann nicht dazu verwendet werden, vorherzusagen, ob die A-Version besser ist als die B-Version?

Nachdem wir uns die Kosten-Nutzen-Gleichung angesehen hatten, entschieden wir uns für ein kleines Pilotprojekt. Wenn die Astrologie, wie wir vorhergesagt haben, nicht funktioniert, verlieren wir nur einige Investitionen und Zeit. Wenn es jedoch funktioniert hat, wird es die Marketing- und Benutzerforschungsbranche für immer verändern.
Also haben wir allen Ernstes den Piloten gestartet. Nach anfänglichen Recherchen über die prädiktivste Astrologietechnik haben wir uns für die indische Astrologie (IA) entschieden. Besonders entschieden wir uns für die Papageien-Astrologie. Was uns Vertrauen gab, war, dass es sogar eine Wikipedia-Seite darauf gibt.

In der Papageienastrologie legt ein Astrologe mehrere Optionen vor einem eingesperrten Haustierpapagei aus. Wenn der Papagei aus dem Käfig gelassen wird, wählt er eine der Optionen als Vorhersage aus. Einfach und unkompliziert. Wir haben es schon geliebt.

Was wir für unseren Piloten getan haben, ist Folgendes:

• Machen Sie 100 A/B-Tests aus unserer Datenbank, bei denen es einen klaren, statistisch signifikanten Gewinner gab (entweder A oder B)
• Drucken Sie ihre Screenshots aus
• Rekrutieren Sie einen indischen Astrologen mit einem Papagei und lassen Sie den Papagei zwischen den Paaren von Screenshots in 100 Versuchen auswählen (einen für jeden A/B-Test).

Unsere Nullhypothese war, dass der Papagei nicht besser pflücken könnte als der Zufall. Das heißt, der Papagei sollte den richtigen Gewinner und den richtigen Verlierer mit einer Wahrscheinlichkeit von ungefähr 50 % auswählen.

Zu unserem Erstaunen wählte der Papagei jedoch 80 von 100 Mal den Gewinner . Mit jedem standardmäßigen Binomialrechner (entweder frequentistisch oder bayesisch) werden Sie schnell feststellen, dass die Wahrscheinlichkeit, dass dies passiert, nahe bei Null liegt. Indische Astrologie hat wirklich funktioniert!

Wir sind offensichtlich auf etwas hier. Wir planen, bald eine wissenschaftliche Arbeit darüber zu schreiben und unsere Ergebnisse in einem Top-Journal vorzulegen. Es ist alles sehr spannend und mysteriös. Woher weiß der Papagei, welche Version am besten funktioniert? Nun, das wissen wir nicht, aber es sollte uns nicht daran hindern, die Technik in der realen Welt anzuwenden (genauso wissen wir immer noch nicht, warum Deep Learning bei verschiedenen Arten von Problemen so effektiv ist, aber es wird häufig verwendet). .

Erhalten Sie frühzeitig Zugriff auf die von Papageien unterstützte A/B-Testvorhersage

Wir versuchen aktiv, das Pilotprojekt mit dem Ziel zu skalieren, es für alle Unternehmen auf der ganzen Welt über eine einfache Benutzeroberfläche innerhalb von VWO oder über eine API verfügbar zu machen. Die größte Herausforderung besteht darin, genügend Papageien zu finden und sicherzustellen, dass wir dies ethisch vertretbar tun. Sobald wir das getan haben, wird jedes Unternehmen auf der Welt in der Lage sein, schnell auf eine optimale Benutzeroberfläche zu konvergieren, ohne dass A/B-Tests durchgeführt werden müssen.

Wir haben einige Slots für Leute, die einen frühen Zugang zu dieser Technologie wünschen. Wenn Sie es versuchen möchten, senden Sie uns hier eine E-Mail: [email protected]

Warte was?

Nun, haben wir nicht gesagt, dass wir ein skeptischer Haufen sind? Es stellt sich heraus, dass es keinen wissenschaftlichen Beweis dafür gibt, dass Astrologie funktioniert. Darüber hinaus verurteilen wir aufs Schärfste das Einsperren von Vögeln oder Tieren für andere Zwecke als die klinische oder medizinische Forschung (selbst in der klinischen Forschung möchten wir, dass Computer- und physikalische Modelle zunehmend echte Tiere ersetzen).

Wenn Sie von der Aussicht auf die Vorhersage von A/B-Testergebnissen begeistert waren, sind Sie nicht allein. Wir sind von der gleichen Sache begeistert, und obwohl die Papageien-Astrologie nicht funktioniert, sind wir bestrebt, weiterhin Fortschritte zu machen, um Geschäftsteams dabei zu helfen, eine höhere Erfolgswahrscheinlichkeit in jedem ihrer A/B-Tests zu erreichen.

Nachdem wir im vergangenen Jahr einen KI-gestützten Website-Texter auf den Markt gebracht haben, haben wir kürzlich einen KI-gestützten Heatmap-Prädiktor eingeführt. Nachdem Sie Ihre Webseiten-URL eingegeben haben, machen wir einen Screenshot und verwenden Deep Learning, um die Verteilung der Klicks auf der Website vorherzusagen. Dies kann Ihnen dabei helfen, offensichtliche tote Zonen oder Ablenker auf Ihrer Website zu erkennen , noch bevor Sie sie live schalten oder ein Heatmap-Tool darauf verwenden.

Dieses Tool kann kostenlos verwendet werden. Probieren Sie es also so oft auf so vielen Websites aus.

Es tut uns leid, dass wir Ihnen Hoffnung gemacht haben, dass Sie A/B-Tests loswerden können, aber ich hoffe, Sie hatten Spaß beim Lesen des Beitrags

April, April!

Haben Sie gelacht? Senden Sie mir eine Nachricht an [email protected]. Ich lese und beantworte alle E-Mails.