Teste A/B Bayesiano: Um Modelo de Raciocínio Poderoso

O teste A/B anda de mãos dadas com a estratégia de CRO de cada profissional de marketing. Sendo um profissional de marketing ou um profissional de CRO, você não pode subestimar o valor de adotar uma cultura de experimentação em sua organização. No entanto, encontrar uma variação ideal para obter conversões mais altas continua sendo um desafio persistente para as empresas on-line.

Em sua forma clássica, o teste A/B opera como um modelo binário – uma hipótese nula que precisa ser rejeitada para aceitar a hipótese alternativa. Devido ao complicado processo de derivar insights de um experimento e tomar decisões de negócios cruciais com base neles, os profissionais de CRO vêm adotando o modelo mais confiável e intuitivo sobre o clássico Frequentista. É o modelo Bayesiano.

O modelo Bayesiano prova a evidência do raciocínio por trás de um experimento que você executa. Nesta postagem do blog, exploramos o modelo Bayesiano em detalhes, comparamos com a abordagem Frequentista clássica e discutimos seus casos de uso.

O que é a abordagem Bayesiana?

O raciocínio bayesiano é fundamentalmente uma abordagem baseada em crenças com base no teorema de Bayes. O teorema apresenta uma estrutura matemática para atualizar suas crenças existentes com o influxo de novas informações.

Aqui está um exemplo para você. Um médico pode diagnosticar um problema médico em um paciente seguindo qualquer uma das abordagens. Como Frequentista, ele teria um modelo fixo estabelecido contra os sintomas específicos de um paciente para seu diagnóstico. Ele pode sondar o paciente em busca deles e identificar a causa com base no modelo fixo que possui.

Ao contrário, como Bayesiano, o médico ainda teria um modelo. Ele sondaria o paciente para avaliar sua condição e identificar sintomas e, além disso, gostaria de saber a história de qualquer dor passada no paciente . Portanto, seu diagnóstico incluirá os sintomas atuais e os sintomas históricos na identificação da causa real. Essa abordagem atualizará seu modelo existente com novas informações, o que pode levar a uma inovação mais rápida, sem custo, tempo ou energia extras gastos no processo de diagnóstico.

Um exemplo do StackExchange torna esse conceito ainda mais simples.

Digamos que você tenha perdido seu telefone e, como isso acontece o tempo todo, você conseguiu um localizador de telefone. Seu telefone possui um instrumento conectado à base, que sinaliza para que ele comece a emitir um bipe quando você pressiona um botão no localizador do telefone. O problema é, de onde você deve começar sua busca na casa?

Se você é um frequentista, seu modelo embutido identificaria a área com base na direção do som dos bipes. Assim, você correrá atrás dos bipes para encontrar a localização do aparelho na casa.

No entanto, como Bayesiano, você se lembraria dos locais onde o encontrou da última vez que desapareceu. Você o encontrou na laje da cozinha ou enterrado sob a lavanderia? Você terá motivos para colocar o telefone nesses lugares. Além do som dos bipes, a recuperação dessas informações funcionará como uma prévia que pode ajudá-lo a tomar uma decisão baseada em evidências. Nesse caso, ele descobrirá por onde começar a pesquisa.

O aspecto crítico do pensamento bayesiano é que ele permite que você explore as crenças pré-existentes (anteriores) durante sua pesquisa, e essas crenças são atualizadas com dados de evidências, resultando em novas crenças (posteriores).

No contexto de testes A/B, por que a abordagem Bayesiana é mais benéfica do que a Frequentista?

Você pode ouvir um Frequentista, que não gosta de falar sobre eventos únicos, murmurando – “Cheguei à verdade corretamente?”. Pelo contrário, um Bayesiano, que se preocupa mais em atualizar a opinião com base em dados do que encontrar a verdade última, pode ser ouvido declarando em voz alta: “Não sei qual é a verdade, mas acredito que minha opinião inicial mudaria agora, pois Tenho uma nova informação comigo!” Bastante confiante? Bem, sim!

Executamos um teste A/B usando o VWO para verificar se um banner que aparece na intenção de saída dos visitantes pode aumentar a geração de leads em nosso blog. Olhando através das lentes bayesianas, vemos um grau variável de confiança em todas as taxas de conversão possíveis na representação gráfica. Concluímos que o controle (sem banner) é o vencedor, e também, houve uma sobreposição na taxa de conversão entre 0,25% e 0,6%.

Por outro lado, a abordagem Frequentista retornou p = 0,042, concluindo também que o controle é o vencedor.

A abordagem Frequentista é firme em alcançar um número significativo de visitantes para retornar um valor- p , o que é difícil de colocar em um contexto de negócios. O que você pode discernir com um p = 0,042 aqui? É provável que o deixe confuso.

Como profissional de marketing ou líder de crescimento, você gostaria que sua ferramenta fizesse o trabalho pesado quando se trata de estatísticas e fornecesse resultados que o ajudassem a tomar boas decisões de negócios.

O Bayesian oferece uma maneira mais sensata e intuitiva de otimizar seus esforços de CRO. Ele atualiza suas opiniões apoiadas em evidências quando você deduz sua previsão e induz o aprendizado no ciclo do experimento com uma atualização de conhecimento, conforme mostrado na imagem abaixo.

VWO SmartStats—o modo Bayesiano

O VWO segue o caminho Bayesiano com o SmartStats, um mecanismo de estatísticas baseado em Bayesian para testes A/B. Esse mecanismo fornece resultados inteligentes para tomar decisões de negócios mais inteligentes e reduz o tempo de teste.

A abordagem Bayesiana permite que você incorpore conhecimento em seus experimentos de forma iterativa. O SmartStats catalisa essa abordagem usando uma prévia não informativa em que todas as possibilidades de taxa de conversão são igualmente prováveis. Além disso, garante que você permaneça no controle e possa monitorar o teste à medida que ele progride e atinge seu significado por um período de tempo antes de ser concluído.

Vamos voltar ao exemplo de banner com intenção de saída discutido no blog. Para o teste, observamos que as distribuições foram inicialmente mais amplas. No entanto, como mostrado abaixo, você pode descobrir que eles começaram a encolher com mais dados.
A probabilidade de bater a linha de base durante o início do teste foi próxima de 50%, mas à medida que o teste progrediu, atingiu 95% de confiança após atingir 1000 visitantes, declarando o controle como vencedor.

Se você observar o progresso desse experimento em relação ao tempo e ao tráfego, ele ficou assim com o menor número de visitantes, mostrando variação principal (não significativa):

E, isso com cerca de 1.000 visitantes, a variação caindo acentuadamente e o controle em expansão:

O gráfico final declarando o controle como o vencedor:

Como o teste A/B Bayesiano permite uma inovação mais rápida?

Com a capacidade de incorporar a crença como parte do experimento, a abordagem Bayesiana permite que você tome decisões mais rápidas com custos de experimentação mais baixos em comparação com uma abordagem Frequentista.

É comum usar uma abordagem bayesiana onde executar um experimento é mais caro e você não tem dados suficientes para tomar uma decisão, seja um teste de diagnóstico médico para discernir a probabilidade de ter câncer ou o e-mail ser spam.

Além disso, a abordagem Bayesiana permite alimentar uma posterior de um experimento como antes de outro. Portanto, uma ferramenta de teste A/B baseada nesse modelo permite otimizar de forma consistente e rápida seus experimentos para conversões. Você não precisa aprender novos dados de seu experimento todas as vezes, em vez disso, alimente o posterior (leia-se: atualização) para um anterior, de forma iterativa, para determinar significativamente a melhoria com menos dados.

Com o experimento de banner com intenção de saída, amplamente discutido no blog, tomamos uma decisão rápida analisando o progresso do teste assim que ele atingiu seu significado. Fizemos isso para mitigar a perda da métrica de oportunidade que era MQLs neste caso. O teste foi concluído com a observação de que um banner de intenção de saída não funciona em nosso blog. Essa observação pode atuar como evidência baseada em dados (posterior) a ser alimentada antes de nossos experimentos subsequentes em torno de blogs.

Então não espere. Mergulhe, falhe rápido, aprenda com eficiência e cresça exponencialmente com testes A/B iterativos que prometem oportunidades de inovação em seus negócios para testemunhar conversões astronômicas.