Como analisar os resultados do teste A/B com a análise de teste A/B

A última coisa que alguém deseja é um falso positivo – não importa o teste! Com a otimização da taxa de conversão (CRO) , um falso positivo pode levar a um beco sem saída.

Ao realizar um teste A/B , você deseja saber se sua página de teste (B) realmente superou sua página de controle (A) antes de gastar tempo aprimorando formulários, páginas ou outros aspectos do seu site.

Uma técnica de análise de teste A/B ajudará a determinar se seu teste foi estatisticamente significativo e se você tem um conjunto de dados vencedor em suas mãos.

Como você sabe se seu teste A/B foi estatisticamente significativo?

A significância estatística significa que você pode repetir o teste e obter resultados consistentemente iguais ou semelhantes.

Por exemplo, digamos que você alterou o posicionamento de um botão de chamada para ação (CTA). O botão costumava ficar abaixo do conteúdo da sua página de destino, mas você imaginou que receberia mais leads se colocasse o botão na frente e no centro. Então, você ajustou a página e colocou o botão acima do título principal.

Em seguida, você testou a antiga página de destino — a página de controle — em 1.000 visitantes. A partir daí, você testou a página ajustada em outros 1.000 visitantes. Depois de medir seus resultados com uma calculadora de teste A/B, ela mostrou um aumento de 25% nos cliques no botão CTA depois que você o moveu para cima na página.

Se você repetir o teste mais de uma vez e continuar recebendo um aumento de cerca de 25% nos cliques, pode presumir que seus resultados são estatisticamente significativos. Você também pode presumir que o posicionamento alterado do botão CTA foi a causa da alteração.

Como você analisa seu teste A/B?

Embora as calculadoras A/B não sejam o fim de tudo da análise de teste A/B, elas ajudam você a entender os dados coletados.

Digamos que você possua uma pequena empresa. O número médio de visitantes do site varia de 100 a 500 usuários por semana. Você executou um teste A/B semelhante no botão CTA da sua página de destino — mas em uma amostra de 100 pessoas em vez de 1.000.

Seus resultados mostram que 50 em cada 100 pessoas clicaram no botão CTA da página original. Na página de teste, 58 pessoas clicaram no botão. Embora esse aumento possa parecer significativo para o tamanho da amostra, de acordo com a calculadora A/B, é uma mudança de apenas 16%.

O que você deve fazer antes de executar um teste A/B?

Antes de começarmos com nosso cenário de exemplo, aqui está um resumo do que você deve fazer antes de coletar quaisquer dados.

1. Conheça seus objetivos

Quais são seus principais indicadores de desempenho (KPIs)? Em outras palavras, quais conversas geram os resultados mais significativos para o seu negócio? Esses indicadores podem ser qualquer coisa, desde volume de vendas até retenção de clientes. Concentrar-se em mudanças voltadas para seus KPIs gerará os melhores resultados.

2. Saiba onde você está — e para onde quer ir

Depois de saber o que deseja medir, descubra onde você está atualmente. Você já deve ter uma ideia geral se mediu cliques em anúncios, número de e-mails abertos ou quantos leads preenchem seu formulário de contato por mês.

Dê uma olhada no seu CRM e no Google Analytics para medir os dados como estão. Os dados atuais devem dar uma ideia de quais melhorias são necessárias e realistas.

Como saber se seu teste é estatisticamente significativo (sem usar uma calculadora A/B)

Agora vamos para a parte divertida – a análise do teste A/B. Depois de seguir as etapas acima, além de executar seus testes e coletar seus dados, você pode determinar se seus resultados são significativos o suficiente para promover a mudança.

A boa notícia é que você ainda pode usar uma calculadora A/B como ponto de partida. Dos 100 visitantes do site da pequena empresa sobre a qual falamos anteriormente, houve um aumento de 16% nos cliques devido à mudança de posicionamento do botão CTA – supostamente. Agora, como sabemos se isso é verdade?

1. Execute novamente o teste

Sempre que você executar um teste A/B, se a alteração não for significativa, convém executar o teste novamente — por exemplo, se os resultados forem inferiores a 36% de diferença no resultado.

Em geral, é melhor executar novamente os testes A/B para que você tenha dados suficientes para concluir que o resultado foi o resultado direto da alteração feita.

2. Analise os dados novamente

Digamos que após essa repetição, o resultado foi que 60 pessoas em 100 clicaram no botão CTA da página de teste e 52 clicaram na página original. É um aumento de 15,38%, segundo a calculadora.

3. Execute seu teste mais uma vez (e analise os resultados)

Esse resultado é semelhante à alteração de 15 a 16 % da terceira vez. No entanto, antes de começar a implementar as alterações, teste seus resultados mais uma vez.

Quando você está trabalhando com um tamanho de amostra menor, é difícil saber se a mudança consistente é uma coincidência ou não. Normalmente, quanto maior o tamanho da amostra, mais poder estatístico você tem.

4. Execute outro teste A/B — testando sua página de controle contra ela mesma

Tecnicamente, uma avaliação como essa seria considerada um teste A/A. Teste sua página de controle em um conjunto de 100 visitantes e teste a mesma página em um conjunto diferente de 100 visitantes. Você pode fazer isso antes ou depois de testar uma alteração.

A variação natural nos cliques em seu CTA sem nenhuma alteração implementada não deve exceder uma diferença de 2%. Esse intervalo é responsável pela flutuação natural nos cliques que sua página recebe. Quaisquer alterações que excedam esse intervalo podem ser razoavelmente consideradas significativas.

Agora que você tem dados suficientes, é hora de ver se ele marca três caixas. Determine se os dados são:

• Suficiente: Sim, executamos o teste três vezes.
• Consistente: Sim, recebemos um resultado semelhante três vezes.
• Diferenciado: Sim, testamos nossa página de controle em relação a ela mesma e notamos que as mudanças naturais caíram entre -2 e 2%, o que significa que nosso aumento consistente de 15% nos cliques para nossa página de teste foi significativo.

Com base nesses resultados, podemos determinar que os dados são estatisticamente significativos. Também podemos presumir razoavelmente que a mudança no posicionamento do botão CTA foi a causa do aumento nos cliques.

WebFX é uma empresa parceira de confiança.

Ouça HydroWorx, que viu um aumento de 236% nas sessões orgânicas com serviços WebFX.

Assista ao Vídeo Depoimento

Faça parceria com o WebFX para análise de teste A/B

Como você pode ver, a análise de teste A/B pode ser uma tarefa assustadora, especialmente se você não tiver certeza de quais alterações gerarão os melhores resultados. Nossa equipe de mais de 500 especialistas no assunto na WebFX usa estratégias de SEO baseadas em dados para criar páginas de destino impactantes com nossos serviços de teste A/B. Geramos mais de US$ 3 bilhões em receita para nossos clientes e estamos prontos para levar sua página de destino para o próximo nível.

Entre em contato conosco on-line ou ligue para 888-601-5359 para falar com um estrategista hoje!