9 erros de teste A / B que você precisa para parar de cometer

Os erros são uma parte inevitável do processo de aprendizagem, mas quando cometê-los custa dinheiro à sua empresa, eles tendem a doer um pouco mais.

Embora os profissionais de marketing de todos os níveis de experiência concordem - não há maneira mais confiável de melhorar páginas da web, e-mails e anúncios do que por meio de testes A / B - para serem eficazes, esses testes A / B precisam ser conduzidos da maneira certa. A triste verdade é que poucos o são.

Erros de teste A / B que você provavelmente cometerá

É muito provável que, em algum ponto, você tenha desperdiçado recursos com testes A / B incorretamente. Talvez você testou algo sem importância ou, sem saber, tomou decisões de negócios com base em resultados falsos. Fosse o que fosse, você não está sozinho.

Tanto os novatos quanto os veteranos de marketing ainda cometem os 9 erros de teste A / B a seguir. Se você reconhece alguns deles, ótimo. Você tem uma ideia do que evitar. Se não, melhor ainda. Ao final desta postagem, você descobrirá que salvamos sua próxima campanha.

1. Teste sem motivo para

Se você está sentado em seu escritório se perguntando “O que devo testar a seguir?”, Você já está fadado ao fracasso. Você deve ter um motivo para executar todos os testes, apoiados por dados. Em vez disso, você deve se perguntar: "Por que estou testando o X?"

Por exemplo, não faça um teste A / B do tamanho de um botão apenas por causa dele. Se, usando o software de mapeamento de calor você descobre que as perspectivas não estão prestando atenção a ela, em seguida, A / B teste para ver se um mais proeminente produz um elevador. Depois disso, forme uma hipótese bem fundamentada que se pareça com isto:

“Usando um software de mapa de calor, percebi que meu botão de call to action não estava recebendo a atenção que deveria. Por causa disso, acredito que aumentar o tamanho do botão para torná-lo mais perceptível. ”

Em seguida, decida como você medirá o resultado. Para um teste como este, novos dados do mapa de calor podem mostrar se os visitantes estão prestando mais atenção a eles ou não. Mais cliques também podem indicar uma atração maior por ele.

Repita esse processo até encontrar uma solução para qualquer problema que tenha estimulado seu teste. Em seguida, use o processo para otimizar outras operações de marketing para o seu negócio.

2. Testando mais de um elemento

Os dados podem sugerir que sua página pode usar um novo título e menos um campo de formulário com ele, mas testar os dois ao mesmo tempo resultará em um monte de dados que serão difíceis de interpretar. Este não é um teste A / B, mas um “teste multivariado” e é muito mais difícil de acertar. Aqui está o porquê…

Em um teste A / B, você está determinando a eficácia de um elemento em relação a outro - por exemplo, um botão vermelho em comparação com um botão preto:

Aqui, qualquer página com melhor desempenho com base em sua métrica de sucesso é a vencedora. Se sua métrica de sucesso for conversões e a página com o botão vermelho produzir mais, o botão vermelho funcionará melhor. Com um teste multivariado, as coisas ficam um pouco mais complicadas.

Vejamos este segundo exemplo do Optimizely de um teste multivariado teórico no qual dois elementos, imagem e título, estão sendo avaliados:

Como você pode ver acima, testar apenas mais um elemento em relação a uma variação resulta no dobro dos resultados. Os resultados deste teste não são tão claros.

Se você está canalizando o tráfego para as quatro páginas diferentes acima e sua métrica de sucesso são as conversões, aquela que produz mais é a vencedora. Ao contrário de um teste A / B, no entanto, determinar por que aquela página ganhou não é tão fácil.

Por exemplo, se um título de variação produz mais conversões do que um título de controle em um teste A / B, assumindo que o teste foi executado corretamente, o título de variação é melhor. Como é a única diferença entre as duas páginas, você sabe com certeza que o título é o motivo do aumento no desempenho.

No entanto, em um teste multivariado, você terá que determinar não apenas qual combinação de elementos produz mais conversões, mas também a relação entre esses elementos. Independentemente de qual combinação no exemplo de título / imagem do Optimizely vence, o testador precisará perguntar “Como esses elementos interagem entre si para produzir o máximo de conversões?”

Ambas as páginas com o título “The One And Only Acme Widgets” tiveram melhor desempenho do que as outras? É possível que o título tenha sido o maior responsável pelo aumento. Entre essas duas, por que a foto da engrenagem produziu mais conversões?

Essas são perguntas para as quais você terá que encontrar respostas por meio de uma pesquisa profunda em seus dados. Além disso, você precisará de muito mais tráfego apenas para obter esses dados.

Uma boa regra de ouro? Alex Birkett, da CXL, recomenda que você siga os testes A / B se não tiver muito tráfego.

3. Gastar todo o seu tempo em testes A / B

É fácil ser cegado pelo teste A / B - ser pego procurando a combinação perfeita de elementos em sua página de destino pós-clique (ou anúncio, e-mail) a ponto de negligenciar todas as outras partes de sua campanha. Não deixe isso acontecer com você.

O motivo pelo qual as pessoas não estão convertendo nem sempre é porque sua página de destino pós-clique não está bem montada. Pode ser que seu tráfego seja fraco ou que sua campanha de incentivo a leads não seja forte.

Não perca tempo testando A / B com imagens da página de destino pós-clique e com o texto do anúncio. Lembre-se de pensar em uma visão ampla e otimizar os maiores orifícios em seu funil primeiro. É aí que você verá os maiores ganhos. Em seguida, comece a aperfeiçoar o processo por meio de testes A / B.

4. Seguindo cegamente as melhores práticas de teste A / B

Acontece que as melhores práticas nem sempre são as melhores para todos. O que funcionou bem para uma empresa pode não funcionar bem para a sua. Caso em questão:

Há alguns anos, o agregador de dados Device Magic decidiu descobrir se um controle deslizante de imagem ou um vídeo converteria mais clientes em potencial em sua página inicial. Então, eles realizaram um teste A / B.

Mas por que fariam isso?

Numerosos estudos já mostraram que os controles deslizantes de imagem causam cegueira do banner, às vezes são difíceis de ver e raramente são clicados. Além disso, muitas pesquisas comprovaram o poder de conversão do vídeo. Algumas empresas viram aumentos na taxa de conversão de até 80%. Isso deve ser um acéfalo. Vídeo para a vitória, certo?

Não é bem assim, dizem os resultados do teste A / B do Device Magic. Esta é a página inicial do vídeo de controle:

E aqui está a página inicial do controle deslizante de variação:

A variação completa com controle deslizante resultou em um aumento de 35% nas conversões.

A equipe do Device Magic aprendeu duas coisas valiosas com esse teste. Um: não confie nas melhores práticas de todo o coração, e dois: não cometa o seguinte erro ...

5. Terminar um teste muito cedo

É assim que geralmente funciona: um testador atinge o que considera ser um número significativo de visitantes para provar que uma variação da página é melhor do que um controle, ou vice-versa. Eles param em 100 ou 1.000 e então declaram um vencedor.

Isso é o que a equipe do Device Magic fez, escreve Paras Chopra em uma postagem de blog para a VWO:

Inicialmente, seu controle (com vídeo) estava superando a variação (com controle deslizante de imagem) e eles não conseguiam entender o porquê. Mas então eles deixaram o teste rodar um pouco mais até que tivessem muito mais dados - para sua surpresa, o resultado invertido para variação superando o controle, que é o que eles esperavam. E esse resultado foi estatisticamente significativo.

Usar um tamanho de amostra muito pequeno é apenas um erro que pode resultar no que é chamado de “falso positivo” - um resultado de teste inconclusivo disfarçado como significativo. No teste do Device Magic, o falso positivo foi que sua página inicial era mais eficaz com um vídeo do que um controle deslizante, embora esse não fosse o caso a longo prazo. Isso prova que, sem visitantes suficientes para as páginas que está testando A / B, você não terá dados suficientes para fazer inferências com segurança a partir de seus resultados.

Aqui está um exemplo muito mais simples de Benny Blum de como pode ser um falso positivo usando um tamanho de amostra pequeno:

Considere a hipótese nula: cães são maiores que gatos. Se eu usar uma amostra de um cão e um gato - por exemplo, um Havanês e um Leão - concluirei que minha hipótese está incorreta e que os gatos são maiores do que os cães. Mas, se eu usasse um tamanho de amostra maior com uma grande variedade de gatos e cães, a distribuição de tamanhos se normalizaria e eu concluí que, em média, os cães são maiores do que os gatos.

Então, como você combate os falsos positivos que vêm com o uso de um tamanho de amostra muito pequeno? Você encontra uma que é grande o suficiente por meio de matemática séria ou pode usar calculadoras bacanas como esta da Optimizely.

O importante a lembrar aqui é que não há tempo ou quantidade de visitantes definidos que você possa gerar para ter total certeza sobre os resultados de um teste A / B. O guru CRO Peep Laja descreve uma época em que seu software declarou que sua variação era uma perdedora:

A variação que construí estava perdendo muito - em mais de 89% (e sem sobreposição na margem de erro). Algumas ferramentas já o chamariam e diriam que a significância estatística era de 100%. O software que usei disse que a variação 1 tem 0% de chance de vencer o controle. Meu cliente estava pronto para encerrar. No entanto, como o tamanho da amostra aqui era muito pequeno (apenas um pouco mais de 100 visitas por variação), persisti e isso é o que parecia 10 dias depois.

A variação que tinha 0% de chance de vencer o controle agora estava ganhando com 95% de confiança. ”

Quanto mais tempo o teste é executado e mais visitantes você recebe, mais perto da "certeza" você pode estar sobre um resultado, mesmo que nunca possa chegar lá completamente.

6. Testando elementos em momentos diferentes

Encerrar um teste muito cedo pode acontecer mesmo depois de atingir significância estatística. Digamos que seu site gere visitantes suficientes para atingir significância estatística, com 15.000 visitantes em cada página no fim de semana. Ainda não é hora de chamar seu experimento.

Não é novidade que os dias da semana têm um sério impacto no tráfego e nas conversões. Se você começar seu teste no sábado, deverá terminá-lo no sábado seguinte para reduzir a chance de que um ou dois dias distorçam os resultados, mesmo que você já tenha alcançado significância estatística. O público que visita seu site no fim de semana pode ser muito diferente daquele que o visita durante a semana e pode estar afetando os resultados do seu teste.

7. Não eliminando variáveis ​​de confusão

Variáveis ​​confusas são exatamente o que parecem - variáveis ​​dentro de seu teste A / B que irão bagunçar os resultados. Deixar de identificá-los significa arriscar a validade de seus dados. Aqui está um exemplo do Optimize Smart de como as variáveis ​​de confusão podem se parecer em seus testes:

Por exemplo, se você alterar a segmentação do seu anúncio para gerar tráfego diferente para a sua variação no meio de um teste, você está alterando o resultado mudando as pessoas que chegam à sua página. Como um grupo demográfico completamente diferente, essas pessoas podem ser mais receptivas ao título ou imagem da variação.

Lembre-se de que todas as coisas, exceto o elemento que você está avaliando, devem ser iguais e permanecer iguais ao longo de todos os seus testes A / B. Dessa forma, você pode ter certeza de que a diferença no desempenho é resultado do elemento que você está testando.

8. Testar elementos que não irão aumentar

Sim, a cor é importante para o seu marketing, mas você realmente precisa testar todos os 41 tons de azul como o Google fazia alguns anos atrás para determinar qual tem o maior impacto no desempenho?

Absolutamente não.

Não perca seu tempo com testes A / B frívolos como este. O Google tem os recursos para fazer isso (não que acreditemos que eles deveriam tê-los usado dessa forma), você não. Não perca seu tempo testando coisas que trarão um aumento de desempenho mínimo, se houver.

9. Desistindo após um teste

Digamos que você testou A / B a imagem em destaque de sua página e, ao fazer isso, produziu um aumento de conversão sustentado de 10%. Parabéns! Isso é incrível - mas isso significa que você tem a melhor imagem? Não. Isso significa que você tem uma imagem melhor do que antes.

Se tivéssemos desistido de testar esta página de destino pós-clique do webinar, satisfeitos com um aumento de 45% na taxa de conversão da variação “B”, nunca teríamos visto o aumento surpreendente que obtivemos com a variação “C”.

Aqui está o original:

Aqui está a variação "B", que produziu um aumento de 45% nas conversões:

E, por último, aqui está a variação “C”, que aumentou as conversões em impressionantes 129%!

Se a princípio seus testes não forem bem-sucedidos, tente, tente novamente. E mesmo que eles tenham sucesso, tente, tente novamente para obter resultados ainda melhores. Mas primeiro comece a criar páginas personalizadas de pós-clique com Instpage, solicite uma demonstração Instapage Enterprise hoje mesmo.