Práticas recomendadas para estabelecer uma única fonte de verdade (SSOT) para testes A/B

Seu teste CX vive ou morre na qualidade de seus dados. Você não pode formar hipóteses válidas e testáveis ​​usando dados questionáveis. E você não pode confiar nos resultados de seus testes se não souber que está analisando métricas precisas.

É por isso que você precisa criar seu programa de teste em torno de um conjunto de dados de fonte única de verdade (SSOT). Se você não puder, mesmo o teste A/B mais simples não terá valor. Este artigo explora por que estabelecer um SSOT é tão importante e compartilha algumas das melhores práticas testadas em campo que desenvolvemos para fazer isso aqui no Kameleoon.

O que é um SOT

A tomada de decisões de negócios moderna deve ser orientada por dados. Manter um SSOT significa que para a experimentação CX, ou qualquer outra função, você padroniza em uma fonte de dados como a “verdade” definitiva em torno da qual você conduz o trabalho dessa equipe e informa as decisões de sua empresa.

Sem um SSOT, você corre o risco de fragmentar seus dados em silos guardados por diferentes equipes para diferentes funções. Não há padronização, não há consenso e não há como saber se alguém está tomando decisões com base nas melhores informações disponíveis.

Um SSOT não é uma tecnologia ou sistema específico. É uma prática de negócios projetada para obter os melhores resultados das atividades de sua equipe. Algumas empresas economizaram milhões mudando para uma estratégia de dados SSOT sem nem mesmo tocar no trabalho subjacente.

Estudos mostraram que as métricas de comportamento do cliente de alta qualidade continuam sendo os dados mais procurados para informar decisões estratégicas. Por vários anos consecutivos, na pesquisa anual de CEOs da PricewaterhouseCoopers, os CEOs classificam isso como a métrica mais importante que desejam para o planejamento estratégico.

O que é teste A/B

O teste A/B é um método para experimentar sites, aplicativos móveis ou anúncios comparando o desempenho de uma versão original — a versão A, ou de controle — com uma versão B modificada. O objetivo é coletar dados de desempenho para cada um, realizar análises estatísticas e determinar, com base nos dados, qual versão teve o melhor desempenho.
O teste A/B funciona para testar mais do que apenas elementos de uma página da web. Por exemplo, você pode usá-lo para otimizar preços, validar recursos de produtos e personalizar sites para diferentes segmentos de visitantes. Além disso, os testes A/B são a base de muitas outras técnicas de otimização CX, incluindo testes multivariados, recomendação de produtos e segmentação baseada em perfil.

Quem precisa de um SSOT para seus testes?

As equipes de experimentação estão navegando pelos dados gerados em suas plataformas de análise, CRM, plataformas de teste e muito mais. Eles precisam estabelecer um SSOT para testes para esclarecer o que suas equipes querem fazer. Vamos considerar um exemplo.

Um dos clientes da Kameleoon lançou uma campanha para otimizar a função de busca de seu site. Eles realizaram testes no lado do servidor que envolveram o rastreamento de tráfego para uma página de acesso.

Mas eles encontraram um problema que muitos programas de experimentação enfrentam: os dados no Google Analytics mostravam um número de visitas à página e sua ferramenta de experimentação mostrava outro. A diferença foi de mais de 9%.

Sendo um site de e-commerce com mais de um milhão de visitantes por mês, a decisão de qual conjunto de dados confiar fez uma grande diferença nos relatórios de KPI da empresa. Embora algumas marcas de médio e grande porte possam ignorar disparidades de até 10% nas estatísticas de visitantes, uma disparidade de 9% nos dados deixou a equipe de experimentação da empresa nervosa.

Essa equipe havia conseguido recentemente a adesão de seu programa de experimentação, incluindo um orçamento para investir em ferramentas como o Kameleoon. Eles esperavam por testes com conclusões claras. Em vez disso, a precisão de seus dados estava em dúvida. Eles precisavam estabelecer um SSOT.

Ajudamos esta empresa a limpar o rastreamento de dados de visitantes, estabelecer um SSOT e obter os resultados dos testes necessários para crescer. Para fazer isso, nós os ajudamos a adotar sete melhores práticas de SSOT. Compartilhamos essas práticas recomendadas aqui porque qualquer equipe de CX que queira discutir seus dados de teste e obter o máximo de seu programa de experimentação pode usá-las para crescer.

Práticas recomendadas para eliminar discrepâncias de dados de teste e estabelecer um SSOT

1. Antes de fazer qualquer outra coisa, faça um teste A/A

Enquanto um teste A/B compara uma versão antiga com uma nova do seu produto ou página, um teste A/A compara o semelhante com o semelhante. Por que você quer fazer isso? Assim, você pode comparar os dados gerados por cada plataforma de monitoramento.

No teste A/A, ambas as variações são iguais, mas os usuários que as veem serão diferentes:

Como agir

Antes de realizar qualquer teste A/B sério ou lançar uma nova implementação em que você deseja coletar dados, execute um teste A/A para calibrar. Em um mundo perfeito, seu teste A/A retornará resultados idênticos. Na realidade, isso raramente acontece, mas você ainda aprenderá com que discrepância está lidando.

Por exemplo, executar um teste A/A permite que você veja quais métricas o Google Analytics obtém em comparação com sua ferramenta de teste nas mesmas sessões, usuários, visitas, conversões ou qualquer métrica que você queira medir.

2. Acompanhe visitantes e visitas da mesma forma em todas as suas ferramentas

O número de visitantes ou visitas rastreados por suas ferramentas de análise nunca corresponderá precisamente aos usuários e sessões. No entanto, você pode garantir que as visitas sejam contadas da mesma maneira em suas plataformas de análise e A/B para diminuir a discrepância.

No Google Analytics, há duas maneiras de terminar uma visita:

• Expiração baseada em tempo: aqui, a sessão expira após 30 minutos de inatividade ou à meia-noite. Considerando que, por exemplo, em Kameleoon, é após 30 minutos de inatividade.

• Alteração de campanha : se o mesmo visitante chegar por meio de uma campanha, sair após 2 minutos e voltar por uma campanha diferente 2 minutos depois, o Google Analytics contará duas visitas. Algumas ferramentas de teste A/B verão isso como um.

Como agir

Verifique como os visitantes e visitas são contados em sua ferramenta de análise e certifique-se de que seja o mesmo para sua ferramenta de teste. Ou que você pode mudá-lo. Na Kameleoon, recomendamos usar sua plataforma de análise como a única fonte de verdade.

No GA, você pode editar por quanto tempo as sessões e campanhas expiram em Configurações de sessão.

Por quê? Os SSOTs devem ser definidos no nível organizacional. Portanto, mesmo que sua equipe de teste passe o dia inteiro trabalhando com dados em sua plataforma de teste, outras equipes ainda podem precisar referenciar dados do GA para outros fins. Defina o SSOT para ser o conjunto de dados referenciado pela maior variedade de equipes da sua organização.

3. Crie filtros de navegador e versão em sua ferramenta de análise

Muitas plataformas de teste A/B não são executadas no Internet Explorer, portanto, todas as visitas nesse navegador são automaticamente excluídas dos relatórios de experimentos. Mas o IE ainda pode causar uma discrepância de dados se você segmentar grandes organizações herdadas usando-o.

Outro possível problema de rastreamento é que o Google Analytics é compatível com todas as versões do navegador, enquanto as ferramentas de teste A/B geralmente mantêm total compatibilidade apenas com as últimas versões.

Como agir

No Google Analytics, crie filtros personalizados com base nos navegadores e nas versões de navegadores de que você gosta para que todas as plataformas correspondam. Você faz isso em

Por exemplo, em Visualizar, veja como você excluiria uma versão mais antiga do Google Chrome:

4. Filtre o tráfego problemático em todas as suas ferramentas

Mantenha seu conjunto de dados SSOT o mais limpo possível coletando dados apenas de membros legítimos do público. Você não quer confundir seus dados com bots, trolls, bugs de rastreador ou outro tráfego atípico. Não se preocupe com a diminuição do volume, a qualidade dos seus resultados aumentará.

Como agir

As ferramentas avançadas de teste A/B oferecem várias configurações de filtragem de bot prontas para uso. Por exemplo, eles podem remover automaticamente o tráfego das estatísticas coletadas se detectarem um comportamento atípico ou se a sessão cair em uma condição de atividade suspeita.

Por outro lado, se você estiver usando o GA, cabe a você decidir como detectar e excluir o tráfego de bot de seus dados de análise usando filtros. Para referência, aqui estão algumas condições que você pode querer excluir.

• Duração da visita > 120 minutos
• Duração da visita < 100 milissegundos
• Número de eventos (conversões, cliques, segmentação, produto, visualização de página etc.) > 10 mil

Você também deseja excluir o tráfego interno de sua organização. Lembre-se de que o objetivo de criar esse conjunto de dados SSOT é ter uma fonte definitiva de dados sobre seus clientes reais, não seus colegas.

Para filtrar o tráfego interno no GA, vá para Painel de administração > Todos os filtros e crie um novo filtro. Defina o tipo de filtro como 'indefinido'. Em seguida, adicione os intervalos de IP internos que você deseja excluir.

5. Evite bloqueadores de anúncios

Muitos visitantes usam bloqueadores de anúncios, como Adblock, Ghostery e uBlock. Alguns adblockers também podem bloquear rastreadores do lado do cliente, incluindo eventos de análise de ferramentas de experimentação.

Se uma parte significativa de seus visitantes tiver bloqueadores de anúncios ativados em seu navegador, há uma grande chance de que o número de visitas registradas varie entre sua ferramenta de teste A/B e sua plataforma de análise.

Como agir

Algumas plataformas podem fornecer URLs de solicitação de rastreamento “no local” que permitem evitar o bloqueio por bloqueadores de anúncios. Aqui, o rastreamento acontece do lado do servidor, portanto, o bloqueio de código do lado do cliente, como de um bloqueador de anúncios, não interrompe o rastreamento legítimo. Ative-o em todas as plataformas possíveis.

Outra maneira de entender melhor a discrepância entre suas plataformas de análise e teste é enviar um evento para sua plataforma de análise após o carregamento da ferramenta de teste. Isso deve dar uma ideia clara da porcentagem de visitantes que usam bloqueadores de anúncios que bloqueiam sua ferramenta de teste A/B. Então você terá que filtrar seu tráfego para excluir visitantes usando bloqueadores de anúncios.

6. Instale suas ferramentas em todas as mesmas páginas

O posicionamento de snippets é uma causa raiz comum de discrepâncias de dados, especialmente se você deseja executar um experimento que segmente um site inteiro. A razão é que muitas ferramentas de experimentação tratam o “site inteiro” como todas as páginas que carregam seu snippet de código. Infelizmente, isso pode até incluir seu site de teste se você tiver snippets copiados lá.

Como agir

Se você ainda não o fez, agora é um ótimo momento para executar o teste A/A para calibrar suas plataformas. Em seguida, certifique-se de que todas as suas ferramentas sejam implementadas nas mesmas páginas.

Uma maneira de identificar se não são é dividir seus dados pelos URLs das páginas visitadas. Isso mostrará todos os URLs principais em que o experimento foi executado para que você possa identificar aqueles em que sua ferramenta de teste não deveria ter sido carregada. Veja como esta opção se parece no Kameleoon:

Pensamentos finais

Após uma análise cuidadosa, Kameleoon determinou que o cliente com discrepância de dados encontrou esse último problema. O Google Analytics e sua ferramenta de teste não estavam sendo executados nas mesmas páginas.

Enquanto o GA rastreava todo o tráfego que ia para sua página de resultados de pesquisa, eles configuravam sua ferramenta de teste com um parâmetro mais restrito: o experimento contava visitas à página de acesso somente após uma pesquisa na barra de pesquisa.

Embora ambas as páginas tenham a mesma aparência, os URLs eram diferentes, criando uma discrepância de dados. No entanto, uma vez resolvidos, eles tinham um SSOT confiável para dados de teste e gerariam muitos insights valiosos.

Ao reconhecer onde as configurações prontas para uso em sua ferramenta de teste não se alinham com seu rastreamento de análise, você pode decidir qual número de visitantes relatar ou como usar suas configurações para minimizar a diferença.

Elimine discrepâncias, estabeleça uma única fonte de verdade e reúna suas equipes em torno de um conjunto de dados comum. Estabelecer um SSOT é o primeiro passo para testes melhores, mais confiáveis ​​e mais perspicazes.