Pruebas Bayesianas A/B: un poderoso modelo de razonamiento

Las pruebas A/B van de la mano con la estrategia de CRO de cada comercializador. Al ser un especialista en marketing o un practicante de CRO, no puede subestimar el valor de adoptar una cultura de experimentación en su organización. Sin embargo, encontrar una variación óptima para lograr conversiones más altas sigue siendo un desafío persistente para las empresas en línea en todo momento.

En su forma clásica, las pruebas A/B funcionan como un modelo binario: una hipótesis nula que debe rechazarse para aceptar la hipótesis alternativa. Debido al complicado proceso de derivar conocimientos de un experimento y tomar decisiones comerciales cruciales en función de ellos, los profesionales de CRO han estado adoptando el modelo más creíble e intuitivo sobre el clásico Frequentist. Es el modelo bayesiano.

El modelo bayesiano demuestra la evidencia del razonamiento detrás de un experimento que realiza. En esta publicación de blog, exploramos el modelo bayesiano en detalle, lo comparamos con el enfoque frecuentista clásico y discutimos sus casos de uso.

¿Qué es el enfoque bayesiano?

El razonamiento bayesiano es fundamentalmente un enfoque basado en creencias con su fundamento en el teorema de Bayes. El teorema presenta un marco matemático para actualizar sus creencias existentes con la afluencia de nueva información.

Aquí hay un ejemplo para ti. Un médico puede diagnosticar un problema médico en un paciente siguiendo cualquiera de los enfoques. Como Frecuentista, tendría un modelo fijo establecido contra los síntomas específicos de un paciente para su diagnóstico. Puede sondear al paciente en busca de ellos e identificar la causa según el modelo fijo que tiene en su lugar.

Por el contrario, como bayesiano, el médico todavía tendría un modelo. Sondearía al paciente para evaluar su condición e identificar los síntomas y, además, le gustaría conocer el historial de dolores anteriores del paciente . Por lo tanto, su diagnóstico incluirá los síntomas actuales y los síntomas históricos para identificar la causa real. Este enfoque actualizará su modelo existente con nueva información, lo que puede conducir a una innovación más rápida sin costo adicional, tiempo o energía gastados en el proceso de diagnóstico.

Un ejemplo de StackExchange simplifica aún más este concepto.

Digamos que ha extraviado su teléfono, y dado que esto sucede todo el tiempo, tiene un localizador de teléfono. Su teléfono tiene un instrumento conectado a su base, que le indica que comience a emitir un pitido cuando presiona un botón en el localizador del teléfono. El problema es, ¿desde dónde debe comenzar su búsqueda en la casa?

Si es un frecuentador, su modelo incorporado identificaría el área en función de la dirección del sonido de los pitidos. Por lo tanto, correrá tras los pitidos para encontrar la ubicación del dispositivo en la casa.

Sin embargo, como bayesiano, recordaría los lugares donde lo encontró la última vez que desapareció. ¿Lo encontraste en la losa de la cocina o enterrado debajo de la ropa? Tendrá razones para poner el teléfono en esos lugares. Además del sonido de los pitidos, recordar esta información actuará como un adelanto que puede ayudarlo a tomar una decisión basada en evidencia. En este caso, averiguará dónde comenzar la búsqueda.

El aspecto crítico del pensamiento bayesiano es que le permite explorar las creencias preexistentes (previas) durante su investigación, y estas creencias se actualizan con datos de evidencia que dan como resultado nuevas creencias (posteriores).

En el contexto de las pruebas A/B, ¿por qué el enfoque bayesiano es más beneficioso que el frecuentista?

Puedes escuchar a un Frecuentista, a quien no le gusta hablar de eventos de una sola vez, murmurando: "¿Llegué a la verdad correctamente?". Por el contrario, se puede escuchar a un bayesiano, a quien le importa más actualizar la opinión basada en datos que encontrar la verdad última, declarando en voz alta: "No sé cuál es la verdad, pero creo que mi opinión inicial cambiaría ahora porque ¡Tengo una nueva información conmigo!” bastante confiado? ¡Bueno, sí!

Realizamos una prueba A/B con VWO para verificar si un banner que aparece en la intención de salida de los visitantes puede aumentar la generación de clientes potenciales en nuestro blog. Mirándolo a través de la lente bayesiana, vemos un grado variable de confianza en todas las tasas de conversión posibles en la representación gráfica. Llegamos a la conclusión de que el control (sin banner) es el ganador y, además, ha habido una superposición en la tasa de conversión entre el 0,25 % y el 0,6 %.

Por otro lado, el enfoque Frecuentista arrojó una p =0.042, concluyendo además que el control es el ganador.

El enfoque de Frequentist es firme en llegar a un número significativo de visitantes para devolver un valor p , que es difícil de poner en un contexto empresarial. ¿Qué se puede discernir aquí con una p = 0,042? Es probable que te deje confundido.

Como especialista en marketing o líder en crecimiento, querrá que su herramienta haga el trabajo pesado cuando se trata de estadísticas y le brinde resultados que lo ayuden a tomar buenas decisiones comerciales.

Bayesian proporciona una forma más sensata e intuitiva de optimizar sus esfuerzos de CRO. Actualiza sus opiniones respaldadas por evidencia cuando deduce su predicción e induce el aprendizaje en el ciclo de experimento con una actualización de conocimiento, como se muestra en la imagen a continuación.

VWO SmartStats: la forma bayesiana

VWO sigue el camino bayesiano con SmartStats, un motor de estadísticas basado en bayesiano para pruebas A/B. Este motor le brinda resultados inteligentes para tomar decisiones comerciales más inteligentes y reduce el tiempo de prueba.

El enfoque bayesiano le permite incorporar conocimiento en sus experimentos de forma iterativa. SmartStats cataliza este enfoque utilizando un previo no informativo donde todas las posibilidades de tasa de conversión son igualmente probables. Además, garantiza que usted mantenga el control y pueda monitorear la prueba a medida que avanza y alcanza su importancia durante un período de tiempo antes de que concluya.

Volvamos al ejemplo del banner con intención de salida discutido en el blog. Para la prueba, observamos que las distribuciones eran inicialmente más anchas. Sin embargo, como se muestra a continuación, puede darse cuenta de que comenzaron a reducirse con más datos.
La probabilidad de superar la línea de base durante el inicio de la prueba fue cercana al 50%, pero a medida que avanzaba la prueba, alcanzó el 95% de confianza después de llegar a 1000 visitantes, declarando ganador al control.

Si observa el progreso de este experimento con respecto al tiempo y el tráfico, se vio así con el menor número de visitantes, mostrando una variación a la cabeza (no significativa):

Y, esto con ~1000 visitantes, la variación cae abruptamente y el control se expande:

El gráfico final que declara al control como el ganador:

¿Cómo permiten las pruebas Bayesianas A/B una innovación más rápida?

Con la capacidad de incorporar creencias como parte del experimento, el enfoque bayesiano le permite tomar decisiones más rápidas con menores costos de experimentación en comparación con un enfoque frecuentista.

Es común usar un enfoque bayesiano donde ejecutar un experimento es más costoso y no tiene suficientes datos para tomar una decisión, ya sea una prueba de diagnóstico médico para discernir la probabilidad de tener cáncer o el correo electrónico es spam.

Además, el enfoque bayesiano le permite alimentar una parte posterior de un experimento como anterior a otro. Por lo tanto, una herramienta de prueba A/B basada en este modelo le permite optimizar sus experimentos para obtener conversiones de manera consistente y rápida. No tiene que aprender nuevos datos de su experimento cada vez, en su lugar, alimente el posterior (léase: actualice) al anterior, iterativamente, para determinar significativamente la mejora con menos datos.

Con el experimento de banner con intención de salida, ampliamente discutido en el blog, tomamos una decisión rápida observando el progreso de la prueba tan pronto como alcanzó su significado. Lo hicimos para mitigar la pérdida de la métrica de oportunidad que eran los MQL en este caso. La prueba concluyó con una observación de que un banner de intención de salida no funciona en nuestro blog. Esta observación puede actuar como evidencia respaldada por datos (posterior) para ser alimentada antes de nuestros experimentos posteriores en torno a los blogs.

Así que no esperes. Sumérjase, falle rápido, aprenda de manera efectiva y crezca exponencialmente con pruebas A/B iterativas que prometen oportunidades de innovación en su negocio para presenciar conversiones astronómicas.