A/B 테스트 분석으로 A/B 테스트 결과를 분석하는 방법
게시 됨: 2022-12-15모든 사람이 원하지 않는 마지막 것은 거짓 긍정입니다. 테스트에 상관없이 말입니다! 전환율 최적화(CRO) 를 사용 하면 잘못된 긍정이 막다른 골목으로 이어질 수 있습니다.
A/B 테스트 를 수행할 때 사이트의 양식, 페이지 또는 기타 측면을 조정하는 데 시간을 보내기 전에 테스트 페이지(B)가 실제로 컨트롤 페이지(A)보다 우수한지 알고 싶을 것입니다.
A/B 테스트 분석 기술은 테스트가 통계적으로 유의미한지 여부와 성공적인 데이터 집합이 있는지 확인하는 데 도움이 됩니다.
A/B 테스트가 통계적으로 유의미했는지 어떻게 알 수 있습니까?
통계적 유의성은 테스트를 반복하고 동일하거나 유사한 결과를 지속적으로 얻을 수 있음을 의미합니다.
예를 들어 클릭 유도문안 (CTA) 버튼의 배치를 변경했다고 가정해 보겠습니다. 이 버튼은 방문 페이지 콘텐츠 아래에 있었지만 버튼을 전면 중앙에 배치하면 더 많은 리드를 받을 수 있을 것이라고 가정했습니다. 그래서 페이지를 수정하고 메인 헤드라인 위에 버튼을 배치했습니다.
다음으로 1000명의 방문자를 대상으로 이전 랜딩 페이지(컨트롤 페이지)를 테스트했습니다. 거기에서 다른 1000명의 방문자에 대해 조정된 페이지를 테스트했습니다. A/B 테스트 계산기로 결과를 측정한 결과 페이지에서 CTA 버튼을 위로 이동한 후 클릭수가 25% 증가한 것으로 나타났습니다.
테스트를 두 번 이상 반복하고 계속해서 클릭수가 약 25% 증가하면 결과가 통계적으로 유의미하다고 합리적으로 가정할 수 있습니다. CTA 버튼의 변경된 위치가 변경의 원인이라고 가정할 수도 있습니다.
A/B 테스트를 어떻게 분석합니까?
A/B 계산기가 A/B 테스트 분석의 전부는 아니지만 수집한 데이터를 이해하는 데 도움이 됩니다.
당신이 중소기업을 소유하고 있다고 가정해 봅시다. 평균 사이트 방문자 수는 주당 100 ~ 500명의 사용자 범위입니다. 랜딩 페이지의 CTA 버튼에 대해 유사한 A/B 테스트를 실행했지만 샘플 크기는 1000명이 아닌 100명이었습니다.
결과에 따르면 100명 중 50명이 원본 페이지의 CTA 버튼을 클릭했습니다. 테스트 페이지에서 58명이 버튼을 클릭했습니다. A/B 계산기에 따르면 이러한 증가가 샘플 크기에 있어 상당한 것처럼 보일 수 있지만 이는 단지 16%의 변화에 불과합니다.
A/B 테스트를 실행하기 전에 무엇을 해야 합니까?
예제 시나리오를 시작하기 전에 데이터를 수집하기 전에 수행해야 할 작업에 대한 요약이 있습니다.
1. 당신의 목표를 아십시오
핵심성과지표 (KPI) 는 무엇 입니까? 즉, 비즈니스에 가장 중요한 결과를 가져오는 대화는 무엇입니까? 이러한 지표는 판매량에서 고객 유지에 이르기까지 무엇이든 될 수 있습니다. KPI에 맞는 변경 사항에 집중하면 최상의 결과를 얻을 수 있습니다.
2. 현재 위치와 가고 싶은 곳 파악
무엇을 측정하고 싶은지 알게 되면 현재 서 있는 위치를 찾으십시오. 광고 클릭 수, 열어본 이메일 수 또는 매월 연락처 양식을 작성하는 리드 수를 측정했다면 이미 일반적인 아이디어를 가지고 있을 것입니다.
CRM 과 Google Analytics 를 살펴보고 현재 상태 의 데이터를 측정하십시오. 현재 데이터는 어떤 개선이 필요하고 현실적인지에 대한 아이디어를 제공해야 합니다.
테스트가 통계적으로 유의미한지 확인하는 방법(A/B 계산기를 사용하지 않음)
이제 재미있는 부분인 A/B 테스트 분석으로 넘어갑니다. 위의 단계를 수행한 후 평가판을 실행하고 데이터를 수집하는 것 외에도 결과가 변경을 적용할 만큼 중요한지 확인할 수 있습니다.
좋은 소식은 여전히 A/B 계산기를 출발점으로 사용할 수 있다는 것입니다. 앞서 이야기한 소규모 비즈니스의 웹사이트 방문자 100명 중 CTA 버튼의 위치 이동으로 인해 클릭수가 16% 증가했습니다. 이제 그것이 사실인지 어떻게 알 수 있습니까?
1. 테스트 재실행
A/B 테스트를 실행할 때마다 변경 사항이 중요하지 않으면 테스트를 다시 실행해야 합니다. 예를 들어 결과가 36% 차이보다 낮은 경우입니다.
일반적으로 A/B 테스트를 다시 실행하여 결과가 변경의 직접적인 결과라는 결론을 내릴 수 있는 충분한 데이터를 확보하는 것이 가장 좋습니다.
2. 데이터를 다시 분석
이 재실행 후 결과가 100명 중 60명이 테스트 페이지의 CTA 버튼을 클릭했고 52명이 원본 페이지를 클릭했다고 가정해 보겠습니다. 계산기에 따르면 15.38% 증가한 것입니다.
3. 테스트를 한 번 더 실행하고 결과를 분석합니다.
이 결과는 세 번째 로 15 – 16% 변경한 것과 비슷합니다. 그러나 변경 사항을 구현하기 전에 결과를 한 번 더 테스트하십시오.
더 작은 샘플 크기로 작업할 때 일관된 변화가 우연의 일치인지 아닌지 알기 어렵습니다. 일반적으로 표본 크기가 클수록 통계적 능력이 높아집니다.
4. 또 다른 A/B 테스트를 실행합니다. 컨트롤 페이지 자체를 테스트합니다.
기술적으로 이와 같은 평가는 A/A 테스트로 간주됩니다. 100명의 방문자로 구성된 한 집합에서 제어 페이지를 테스트하고 다른 100명의 방문자 집합에서 동일한 페이지를 테스트합니다. 변경 사항을 테스트하기 전이나 후에 이 작업을 수행할 수 있습니다.
구현된 변경 사항이 없는 CTA 클릭의 자연스러운 변동은 2% 차이를 초과해서는 안 됩니다. 이 범위는 페이지에서 받는 클릭의 자연스러운 변동을 설명합니다. 이 범위를 초과하는 모든 변경 사항은 상당한 것으로 합리적으로 가정할 수 있습니다.
이제 충분한 데이터가 있으므로 세 개의 상자를 선택했는지 확인할 차례입니다. 데이터가 다음과 같은지 확인합니다.
- 충분함: 예, 테스트를 세 번 실행했습니다.
- 일관성: 예, 비슷한 결과를 세 번 받았습니다.
- 차별화: 예, 제어 페이지 자체를 테스트한 결과 자연적인 변화가 -2~2% 사이로 떨어졌다는 사실을 발견했습니다. 이는 테스트 페이지의 클릭 수가 지속적으로 15% 증가했다는 의미입니다.
이러한 결과를 바탕으로 데이터가 통계적으로 유의한지 확인할 수 있습니다. 또한 CTA 버튼의 위치 변경이 클릭 증가의 원인이라고 합리적으로 추측할 수 있습니다.
WebFX는 기업이 신뢰하는 파트너입니다.
WebFX 서비스로 유기적 세션이 236% 증가한 HydroWorx의 이야기를 들어보십시오.
A/B 테스트 분석을 위해 WebFX와 협력
보시다시피 A/B 테스트 분석은 어려운 작업이 될 수 있습니다. 특히 어떤 변화가 최상의 결과를 가져올지 확신할 수 없는 경우 더욱 그렇습니다. WebFX의 500명 이상의 주제 전문가 팀은 데이터 기반 SEO 전략을 사용하여 A/B 테스트 서비스로 영향력 있는 랜딩 페이지를 생성합니다. 우리는 고객을 위해 30억 달러 이상의 수익을 창출했으며 귀하의 랜딩 페이지를 다음 단계로 끌어 올릴 준비가 되어 있습니다.
지금 온라인으로 문의 하거나 888-601-5359 로 전화하여 전략가와 상담하세요!