Prediga los resultados de las pruebas A/B utilizando la antigua astrología india

En VWO tenemos la misión de ayudar a los equipos de marketing y productos a reducir el tiempo y el esfuerzo necesarios para determinar qué funciona mejor para su negocio y qué no. En 2010, fuimos pioneros en el Editor visual Hágalo usted mismo para equipos de negocios para editar páginas web y crear sus variaciones para pruebas A/B sin involucrar a los equipos de TI. Esa innovación redujo el esfuerzo de lanzar una prueba A/B de semanas a horas y la industria de las pruebas A/B no ha sido la misma desde entonces.

Pero, como sabe cualquiera que haya realizado una prueba A/B, aún debe esperar semanas para comenzar a obtener resultados estadísticos significativos sobre qué versión es mejor.

Nos hemos estado preguntando si también hay una manera de reducir este período de espera. ¿No sería maravilloso si hubiera una manera de saber instantáneamente qué versión va a ganar sin tener que esperar semanas o meses para que lleguen los datos?

¿Puede la IA ayudar?

La primera dirección de investigación a la que recurrimos fue la tecnología de inteligencia artificial en auge. Seguro que habrás oído hablar de las redes neuronales, el aprendizaje automático y la ciencia de datos. ¿Podría una de esas técnicas ayudarnos? Si las redes neuronales pueden conducir automóviles hoy, ¿quizás también puedan predecir qué versión del sitio web es mejor?

En los últimos años, probamos varias técnicas e invertimos mucho dinero para intentar que una de las técnicas de IA funcionara. Hicimos algunos progresos cuando, hace un par de meses, lanzamos un redactor de sitios web impulsado por IA que ayudó a los especialistas en marketing a crear nuevos titulares alternativos, CTA y descripciones de productos para probar.

Pero, desafortunadamente, técnicas similares basadas en IA no se desempeñaron satisfactoriamente en la predicción de los resultados de las pruebas A/B. Parece que conducir automóviles, vencer al campeón mundial de Go y detectar tumores es un problema más fácil que predecir qué diseño de sitio web será una mejor opción.

Introduzca IA

Cuando estábamos a punto de renunciar a nuestro proyecto soñado, alguien nos señaló el elefante en la habitación: la astrología. Nuestra primera reacción fue descartar inmediatamente esta absurda sugerencia. Somos un grupo escéptico y no hay lugar para tanta pseudociencia en un negocio serio como el nuestro.

Pero estábamos desesperados y decidimos darle una última oportunidad a esta idea totalmente absurda. Nos dijeron que millones de personas en todo el mundo predicen todo tipo de fenómenos utilizando técnicas como los horóscopos o las cartas del Tarot. Si las personas usan una técnica para predecir si su matrimonio tendrá éxito o no, ¿no puede usarse para predecir si la versión A es mejor que la versión B?

Después de analizar la ecuación costo-beneficio, decidimos hacer un pequeño piloto. Si, como predijimos, la astrología no funcionó, simplemente perderemos algo de inversión y tiempo. Sin embargo, si funcionó, cambiará la industria del marketing y la investigación de usuarios para siempre.
Entonces, con toda seriedad, pusimos en marcha el piloto. Después de hacer una investigación inicial sobre la técnica de astrología más predictiva, nos decidimos por la Astrología india (IA). En particular, nos decidimos por la astrología de los loros. Lo que nos dio confianza fue que incluso tiene una página de wikipedia.

En la astrología de loros, un astrólogo presenta múltiples opciones frente a un loro mascota enjaulado. Cuando el loro sale de la jaula, elige una de las opciones como predicción. Simple y directo. Ya nos encantó.

Lo que hicimos para nuestro piloto es lo siguiente:

• Realice 100 pruebas A/B de nuestra base de datos donde haya un ganador claro y estadísticamente significativo (ya sea A o B)
• Imprime sus capturas de pantalla
• Reclute a un astrólogo indio con un loro y haga que el loro elija entre los pares de capturas de pantalla en 100 pruebas (una para cada prueba A/B)

Nuestra hipótesis nula era que el loro no sería capaz de escoger mejor que el azar. Es decir, el loro debe elegir al ganador correcto y al perdedor cada uno aproximadamente con un 50 % de probabilidad.

Sin embargo, para nuestro asombro, el loro eligió al ganador 80 de 100 veces . Usando cualquier calculadora binomial estándar (ya sea frecuentista o bayesiana), descubrirá rápidamente que las posibilidades de que eso suceda son casi nulas. ¡La astrología india realmente funcionó!

Obviamente estamos en algo aquí. Pronto planeamos escribir un artículo científico sobre esto y enviar nuestros hallazgos en una revista importante. Todo es muy emocionante y misterioso. ¿Cómo sabe el loro qué versión funciona mejor? Bueno, eso no lo sabemos, pero no debería impedirnos usar la técnica en el mundo real (del mismo modo que aún no sabemos por qué el aprendizaje profundo es tan efectivo en varios tipos de problemas, pero se usa ampliamente) .

Obtenga acceso anticipado a la predicción de pruebas A/B impulsada por loros

Estamos tratando activamente de escalar el piloto con el objetivo final de ponerlo a disposición de todas las empresas del mundo a través de una interfaz de usuario simple dentro de VWO o mediante una API. El principal desafío es encontrar suficientes loros y asegurarnos de que lo hacemos de manera ética. Una vez que hagamos eso, cualquier negocio en el mundo podrá converger rápidamente en una interfaz de usuario óptima sin necesidad de realizar ninguna prueba A/B.

Tenemos algunos cupos para las personas que quieren tener acceso anticipado a esta tecnología. Si quieres probarlo, envíanos un correo electrónico aquí: [email protected]

¿Esperar lo?

Bueno, ¿no dijimos que somos un grupo escéptico? Resulta que no hay evidencia científica de que la astrología funcione. Además, condenamos enérgicamente el enjaulamiento de cualquier ave o animal para cualquier otra cosa que no sea investigación clínica o médica (incluso en la investigación clínica, deseamos que los modelos físicos y computacionales reemplacen cada vez más a los animales reales).

Si estaba entusiasmado con la perspectiva de la predicción de los resultados de las pruebas A/B, no está solo. Estamos entusiasmados con lo mismo y, aunque la astrología de los loros no funciona, estamos comprometidos a seguir avanzando para ayudar a los equipos comerciales a lograr una mayor probabilidad de éxito en cada una de sus pruebas A/B.

Después de lanzar un redactor de sitios web impulsado por IA el año pasado, recientemente lanzamos un predictor de mapa de calor impulsado por IA. Después de ingresar la URL de su página web, tomamos una captura de pantalla y usamos el aprendizaje profundo para predecir la distribución de los clics en el sitio web. Esto puede ayudarlo a detectar zonas muertas obvias o distractores en su sitio web incluso antes de publicarlo o usar una herramienta de mapa de calor en él.

Esta herramienta es de uso gratuito. Así que siéntase libre de probarlo tantas veces en tantos sitios web.

Lamentamos haberte dado la esperanza de que puedas deshacerte de las pruebas A/B, pero esperamos que te hayas divertido leyendo la publicación.

¡Feliz Día de los Inocentes!

¿Te has reído? Envíame una nota a [email protected]. Leo y respondo todos los correos electrónicos.