13 Erros de teste A / B por e-mail que limitam seu sucesso

“Você tem que testar, caso contrário, você está apenas dando um palpite”, disse Stuart Clark do Red C no Litmus Live London 2017. O teste A / B por e-mail foi um tópico recorrente em todos os três eventos do Litmus Live no ano passado, assim como neste ano. Isso não é surpresa, porque é uma das oportunidades mais poderosas para os profissionais de marketing por email iterarem e melhorarem suas campanhas.

O teste A / B pode ajudá-lo a descobrir mudanças de alto impacto em suas linhas de assunto, design de email, páginas de entrada e muito mais. Quão grandes podem ser os ganhos?

“Marcas de comércio eletrônico que testam A / B
seus e-mails geram 20% mais receita
na média."

—Alex Kelly (MailChimp)
no Litmus Live 2017

Tweet esta citação →

Para testar A / B seus emails, tudo que você precisa fazer é apresentar duas variações para dois grupos diferentes de seus assinantes e então ouvir. As métricas dirão a você sua preferência, que você pode agir em curto prazo, enviando a variação vencedora para mais de seu público, ou em longo prazo, aplicando essa preferência em campanhas futuras.

Isso parece simples - e até certo ponto, é, graças aos provedores de serviço de e-mail e provedores de software de teste que implementam a funcionalidade que torna o teste A / B de e-mail muito mais fácil de executar do que no passado. No entanto, também é bastante simples bagunçar o teste A / B de seu e-mail e chegar a uma conclusão errada ou minar seus resultados completamente.

Para evitar esse destino, aqui estão 13 dicas que irão garantir que você aproveite ao máximo seu teste A / B de e-mail:

1. Teste seus e-mails automatizados e transacionais, não apenas seus e-mails transmitidos e segmentados.

Quase 39% das marcas nunca ou raramente fazem testes A / B em seus e-mails transmitidos e segmentados, de acordo com a pesquisa Litmus 'State of Email Survey.

Essa é uma oportunidade perdida, mas ainda há mais dinheiro sobrando quando você olha para e-mails automatizados e transacionais. Mais de 65% das marcas nunca ou raramente fazem testes A / B em seus e-mails automatizados e 76% nunca ou raramente fazem testes A / B em seus e-mails transacionais.

Isso é uma pena, porque enquanto o teste A / B de sua transmissão e e-mails segmentados oferece uma vantagem competitiva, o teste A / B de seus e-mails automatizados e transacionais oferece uma grande vantagem. Os programas de e-mail bem-sucedidos têm 58% mais probabilidade do que os programas menos bem-sucedidos de testar A / B seus e-mails acionados pelo menos uma vez por ano. E os programas bem-sucedidos têm 53% mais probabilidade de realizar testes A / B em seus e-mails transacionais pelo menos uma vez por ano.

Ambas as ações estão entre as 10 principais ações dos programas de marketing por e-mail bem-sucedidos.

Embora os e-mails acionados sejam frequentemente elogiados como programas do tipo configure e esqueça, lembre-se de que Nada em Email Marketing é 'Configure e esqueça'. Esses e-mails representam a maior parte da receita de marketing por e-mail em mais de 13% das marcas, de acordo com a pesquisa Litmus 'State of Email Survey de 2018. E essa porcentagem só vai crescer nos próximos anos.

2. Concentre seus esforços de teste A / B de e-mail nos elementos da campanha com maior probabilidade de impulsionar o desempenho.

Às vezes, pequenos ajustes em elementos menores podem mover a agulha para você, mas geralmente é aconselhável concentrar seu teste nos elementos-chave do e-mail, como linhas de assunto, frases de chamariz e imagens.

De acordo com nossa pesquisa com 3.000 profissionais de marketing, é aqui que a maioria das marcas concentra seus esforços de teste A / B de e-mail. Você deveria também.

Além desses elementos, seus e-mails automatizados têm outros elementos que valem a pena testar. Em meu livro, Regras de marketing por e- mail , recomendo testar:

• Lógica de gatilho diferente para e-mails automatizados
• Com que rapidez enviar a mensagem depois de ser acionada
• Enviar uma série de e-mails automatizados
• O atraso entre e-mails automatizados em uma série
• Sob quais condições um e-mail automatizado em uma série é ignorado
• Em que condições termina uma série de e-mail automatizado

3. Entenda se o seu teste o deixará mais perto de um máximo local ou global.

Você está testando ajustes incrementais ou mudanças radicais em seu e-mail? É importante entender isso porque, como a Gerente de Produto do Even, Janie Clarke, apontou no Litmus Live San Francisco, pequenos ajustes podem ajudá-lo a chegar ao topo de um máximo local, mas não o ajudarão a descobrir um novo máximo global. Para descobrir isso, você precisará tentar uma abordagem totalmente diferente.

Por exemplo, testar a cor de um botão ou testar um link de texto em vez de um botão só vai ajudá-lo a se aproximar da otimização desse design de e-mail - ou de atingir um máximo local. No entanto, testar um design com muitas cópias versus um design com muitas imagens ou um email interativo versus um email somente de texto, por exemplo, pode ajudá-lo a encontrar a melhor maneira de comunicar sua mensagem - ou descobrir um máximo global.

4. Limite seus testes A / B a uma coisa de cada vez.

A menos que esteja fazendo testes multivariados, você vai querer manter seus testes A / B limitados a uma mudança por teste. Por exemplo, você pode testar ...

• Um botão verde versus um botão azul
• Cópia de e-mail com prova social incluída versus sem prova social
• Uma imagem de herói de estilo de vida versus uma imagem de herói de produto
• Um desconto percentual versus um desconto em dólares

Ter mais de uma diferença entre as versões A e B torna difícil determinar claramente qual elemento levou à diferença no desempenho.

5. Tenha uma hipótese clara.

Não faça alterações aleatórias apenas para ver o que pode funcionar. Saiba o que você está tentando alcançar e tenha uma base lógica sólida de por que o que você está testando o ajudará a atingir a meta desejada.

Por exemplo, se você está tentando aumentar as conversões, pode criar uma versão da sua cópia do e-mail onde a frase de chamariz está acima da dobra para torná-la mais visível e outra versão onde o conteúdo precede o CTA e tenta gerar interesse no CTA. Além disso, se você quisesse ver se abordar seu novo assinante pelo nome na linha de assunto de seu e-mail de boas-vindas aumentava as conversões, você testaria uma linha de assunto com a personalização e outra sem.

Sites como o Behave.org podem fornecer muitas ideias de testes para você experimentar, com base no que outras marcas fizeram.

6. Escolha uma métrica de vitória de teste que esteja alinhada com o objetivo da sua campanha.

Não podemos enfatizar isso o suficiente: certifique-se de testar o mais longe possível no funil - o que na maioria dos casos significa testar o mais longe possível no funil. A maioria das campanhas de e-mail tenta gerar conversões de e-mail ou conversões de vendas, portanto, seus testes A / B de e-mail também devem se concentrar em mover essas métricas.

O que alguns profissionais de marketing erram é que eles acham que as linhas de assunto podem afetar apenas as aberturas, o conteúdo do email pode afetar apenas os cliques e o conteúdo da página de entrada pode afetar apenas as conversões. Não é verdade! Os diferentes estágios de uma interação por e-mail não operam isoladamente. Todos eles trabalham juntos, porque os assinantes os experimentam todos juntos.

Quando você abraça isso, você percebe que o objetivo de uma linha de assunto não é gerar aberturas. É para gerar abridores com probabilidade de se converterem. E da mesma forma, o objetivo do conteúdo do e-mail não é gerar cliques. É para gerar cliques com probabilidade de conversão.

Não convencido? É fácil confirmar por si mesmo. Basta executar alguns testes A / B de linha de assunto e observar como as diferentes linhas de assunto afetam a atividade em todo o funil de interação por e-mail.

Além disso, quem se importa se a linha de assunto A gera mais aberturas do que a linha de assunto B se a última gera mais conversões? E quem se importa se o conteúdo do email A gera mais cliques do que o conteúdo do email B, se este último produz mais conversões? Garantimos que seu chefe preferirá mais conversões.

2018 State of Email Analytics Como seus recursos de análise de e-mail se comparam aos de seus colegas? Veja quais métricas de email as marcas medem (e quais ferramentas elas usam para fazer isso) com nosso primeiro relatório State of Email Analytics. Obtenha sua cópia →

7. Use segmentos de público de teste de assinantes semelhantes.

Assim como você controla as alterações que faz nas versões A e B do seu e-mail, também precisa controlar quem obtém cada versão. Você deseja que seus dois grupos de teste sejam compostos pelos mesmos tipos de assinantes, sejam eles novos assinantes, assinantes que são clientes ou assinantes em uma determinada região, por exemplo.

8. Use segmentos de público de teste de assinantes ativos.

Da mesma forma, você vai querer garantir que ambos os grupos de destinatários de teste contenham assinantes ativos que se envolvam regularmente com seus e-mails. Caso contrário, se a versão A for para um grupo de assinantes que são muito mais ativos do que o grupo que obteve a versão B, então a versão A tem mais probabilidade de "vencer" por motivos que potencialmente não têm nada a ver com o que está na versão A.

A única ressalva é se você está testando e-mails de reengajamento, caso em que deseja atingir assinantes inativos, é claro.

9. Certifique-se de que seus grupos de teste sejam grandes o suficiente para que seus resultados sejam estatisticamente significativos.

Se o seu público de teste for muito pequeno, os resultados do seu teste podem ser apenas devido ao acaso. Certifique-se de que seus resultados sejam estatisticamente significativos, tendo um público de teste grande o suficiente.

Kissmetrics, AB Testguide e Optimizely têm calculadoras online para ajudá-lo.

10. Use grupos de validação, quando apropriado.

Para qualquer e-mail que você testar, considere o efeito de seus assinantes não receberem esse e-mail. Ter um grupo restrito de assinantes que não recebem um e-mail é como você pode medir esse efeito.

Os grupos de validação são especialmente valiosos quando se trata de testar e-mails automatizados. Por exemplo, se você estiver testando o desempenho de um novo e-mail de abandono do carrinho de compras, você deseja ter certeza de que uma parte dos desistentes do carrinho não receba nenhum e-mail de abandono do carrinho. Isso permite que você avalie se o e-mail de abandono do carrinho está incomodando os assinantes ou interrompendo seus comportamentos naturais de compra.

No entanto, você pode usar um grupo de validação para qualquer e-mail que enviar para ter certeza de que o e-mail está realmente tendo um efeito positivo sobre seus assinantes. A Atlassian, empresa de software empresarial, configurou um sistema que exige teste de todos os e-mails, incluindo grupos de validação obrigatórios, disse o gerente de produto sênior da plataforma de engajamento da Atlassian, Jeff Sinclair, aos participantes do Litmus Live San Francisco.

11. Crie um plano de teste para testar regularmente e registrar os resultados do teste.

O teste ad hoc A / B é ineficiente porque é esporádico e sem foco. Para obter o máximo dos testes A / B, você precisa de um plano. Desenvolva um cronograma de teste que registre:

• As teorias que você está tentando confirmar
• Quais e-mails você está usando para testar cada teoria
• Os resultados de cada teste e como eles afetam seus planos de teste futuros

Procure incluir um teste A / B em pelo menos metade de sua transmissão e e-mails promocionais segmentados, pois nossa pesquisa indica que as marcas obtêm pouca vantagem competitiva quando testam com menos frequência do que isso. Da mesma forma, as marcas relatam um aumento significativo no sucesso quando fazem testes A / B em seus e-mails acionados e transacionais pelo menos uma vez a cada 6 meses.

Você também vai querer ter um plano de teste porque precisará ...

12. Confirme os resultados dos testes.

Qualquer teste A / B único nunca é conclusivo para sempre. No curto prazo, qualquer aumento que você ver pode ser o resultado do efeito de novidade. Os assinantes são atraídos pelo novo, o que pode dar um impulso a qualquer mudança que você fizer em relação ao controle.

No entanto, o efeito de novidade desaparece muito rapidamente. Portanto, se você executar o mesmo teste duas ou três vezes durante um período de tempo, eliminará qualquer efeito de novidade e será capaz de ver o verdadeiro impacto da mudança.

No longo prazo, os comportamentos e atitudes do consumidor mudam. A composição de sua lista de e-mail também pode mudar ao longo do tempo, dependendo das práticas de aquisição de assinantes, mudanças em suas ofertas de produtos ou serviços, expansão ou retirada de certas geografias e outros fatores.

Quanto mais definitivo for o sucesso de um teste, mais provavelmente você poderá esperar para confirmá-lo novamente. Mas, eventualmente, você desejará reconfirmar periodicamente cada teste pelo menos uma ou duas vezes - o que, novamente, é o motivo pelo qual um plano de teste A / B é crítico.

13. Compartilhe os resultados dos seus testes A / B de e-mail com outros proprietários de canais em sua empresa.

Jonathan Pay, da Holistic Email Marketing, disse aos participantes do Litmus Live London para se certificarem de compartilhar seus insights de teste A / B de e-mail com suas equipes de web, mídia social e anúncios. Esse é um ótimo conselho, porque o aprendizado de marketing por email pode impulsionar o sucesso em outros canais.

A má coordenação entre canais e departamentos foi identificada como o maior desafio enfrentado pelos profissionais de marketing por e-mail em 2018, de acordo com uma pesquisa Litmus com mais de 600 profissionais de marketing. Compartilhar os resultados dos testes A / B é apenas mais uma maneira de as marcas promoverem uma abordagem omnicanal para o marketing e a experiência do cliente.

Para obter o máximo de seus esforços de teste A / B de e-mail ...

Siga essas 13 recomendações:

1. Teste seus e-mails automatizados e transacionais, não apenas seus e-mails de difusão e segmentados.
2. Concentre seus esforços de teste A / B de e-mail nos elementos da campanha com maior probabilidade de impulsionar o desempenho.
3. Entenda se o seu teste o deixará mais perto de um máximo local ou global.
4. Limite seus testes A / B a uma coisa de cada vez.
5. Tenha uma hipótese clara.
6. Escolha uma métrica de vitória de teste que esteja alinhada com o objetivo da sua campanha.
7. Use segmentos de público de teste de assinantes semelhantes.
8. Use segmentos de público de teste de assinantes ativos.
9. Certifique-se de que seus grupos de teste sejam grandes o suficiente para que seus resultados sejam estatisticamente significativos.
10. Use grupos de validação, quando apropriado.
11. Crie um plano de teste para testar regularmente e registrar os resultados do teste.
12. Confirme os resultados dos testes.
13. Compartilhe os resultados dos seus testes A / B de e-mail com outros proprietários de canais em sua empresa.