A/B 테스트를 위한 SSOT(Single Source of Truth) 구축 모범 사례
게시 됨: 2022-06-14CX 테스트는 데이터 품질에 따라 결정됩니다. 의심스러운 데이터를 사용하여 타당하고 검증 가능한 가설을 형성할 수 없습니다. 그리고 정확한 메트릭을 보고 있는지 모른다면 테스트 결과를 신뢰할 수 없습니다.
그렇기 때문에 SSOT(Single Source of Truth) 데이터 세트를 기반으로 테스트 프로그램을 구축해야 합니다. 그렇게 할 수 없다면 가장 단순한 A/B 테스트도 가치가 없을 것입니다. 이 기사에서는 SSOT를 설정하는 것이 왜 그렇게 중요한지 탐구하고 여기 Kameleoon에서 이를 수행하기 위해 개발한 현장 테스트를 거친 모범 사례를 공유합니다.
SSOT이란 무엇입니까?
현대의 비즈니스 의사 결정은 데이터 기반이어야 합니다. SSOT를 유지한다는 것은 CX 실험 또는 기타 기능을 위해 하나의 데이터 소스를 해당 팀의 작업을 수행하고 회사의 결정을 알리는 결정적인 "진실"로 표준화한다는 것을 의미합니다.
SSOT가 없으면 데이터가 서로 다른 기능에 대해 서로 다른 팀에서 보호하는 사일로로 조각화될 위험이 있습니다. 표준화도, 합의도, 사용 가능한 최상의 정보를 기반으로 결정을 내리는 사람이 있는지 알 수 있는 방법도 없습니다.
SSOT는 특정 기술이나 시스템이 아닙니다. 팀 활동에서 최적의 결과를 얻을 수 있도록 설계된 비즈니스 관행입니다. 일부 회사는 기본 작업을 건드리지 않고 SSOT 데이터 전략으로 전환하여 수백만 달러를 절약했습니다.
연구에 따르면 고품질 고객 행동 메트릭은 전략적 결정을 알리기 위해 가장 많이 찾는 데이터로 남아 있습니다. 프라이스워터하우스쿠퍼스(PricewaterhouseCoopers)의 연례 CEO 설문조사에서 CEO들은 몇 년 동안 전략 계획을 위해 원하는 가장 중요한 지표로 평가했습니다.
A/B 테스팅이란
A/B 테스트는 원래 버전(A 또는 컨트롤 버전)의 성능을 수정된 B 버전과 비교하여 웹사이트, 모바일 애플리케이션 또는 광고를 실험하는 방법입니다. 목표는 각각에 대한 성능 데이터를 수집하고, 통계 분석을 수행하고, 데이터를 기반으로 어떤 버전이 가장 성능이 좋은지 결정하는 것입니다.
A/B 테스트는 단일 웹 페이지 요소 이상을 테스트하는 데 사용됩니다. 예를 들어, 이를 사용하여 가격을 최적화하고, 제품 기능을 검증하고, 다양한 방문자 세그먼트에 맞게 웹사이트를 개인화할 수 있습니다. 또한 A/B 테스트는 다변수 테스트, 제품 추천, 프로필 기반 타겟팅을 비롯한 많은 다른 CX 최적화 기술의 기초입니다.
테스트를 위해 SSOT가 필요한 사람은 누구입니까?
실험 팀은 분석 플랫폼, CRM, 테스트 플랫폼 등에서 생성된 데이터를 헤엄치고 있습니다. 그들은 팀이 원하는 것을 명확히 하기 위해 테스트용 SSOT를 설정해야 합니다. 예를 들어 보겠습니다.
Kameleoon의 고객 중 한 명이 웹사이트의 검색 기능을 최적화하기 위한 캠페인을 시작했습니다. 그들은 액세스 페이지에 대한 트래픽 추적과 관련된 서버 측 테스트를 수행했습니다.
그러나 그들은 많은 실험 프로그램이 직면한 문제에 직면했습니다. Google Analytics의 데이터는 페이지 방문 횟수를 보여주고 실험 도구는 다른 횟수를 보여주었습니다. 그 차이는 9퍼센트 이상이었습니다.
매월 백만 명이 넘는 방문자가 방문하는 전자 상거래 웹 사이트인 만큼 신뢰할 수 있는 데이터 집합을 결정한 것이 회사의 KPI 보고에 큰 영향을 미쳤습니다. 일부 중견 기업 브랜드는 방문자 통계에서 최대 10%의 차이를 무시할 수 있지만 데이터의 9% 차이는 이 회사의 실험 팀을 긴장하게 했습니다.
이 팀은 최근에야 Kameleoon과 같은 도구에 투자할 예산을 포함하여 실험 프로그램에 대한 승인을 받았습니다. 그들은 명확한 결론이 있는 테스트를 기대했습니다. 대신 데이터의 정확성이 의심스러웠습니다. 그들은 SSOT를 설립할 필요가 있었습니다.
우리는 이 회사가 방문자 데이터 추적을 정리하고 SSOT를 설정하며 성장에 필요한 테스트 결과를 얻을 수 있도록 도왔습니다. 이를 위해 우리는 그들이 7가지 SSOT 모범 사례를 채택하도록 도왔습니다. 테스트 데이터를 랭글링하고 실험 프로그램을 최대한 활용하려는 CX 팀이 성장을 위해 이를 사용할 수 있기 때문에 여기에서 모범 사례를 공유합니다.
테스트 데이터 불일치 제거 및 SSOT 설정을 위한 모범 사례
1. 다른 작업을 수행하기 전에 A/A 테스트를 수행하십시오.
A/B 테스트는 제품 또는 페이지의 이전 버전과 새 버전을 비교하는 반면 A/A 테스트는 '좋아요'와 '좋아요'를 비교합니다. 왜 이것을 하시겠습니까? 따라서 각 모니터링 플랫폼에서 생성된 데이터를 비교할 수 있습니다.
A/A 테스트에서 두 변형은 동일하지만 이를 보는 사용자는 다릅니다.
조치 방법
심각한 A/B 테스트를 수행하거나 데이터를 수집하려는 새 구현을 롤아웃하기 전에 A/A 테스트를 실행하여 보정하십시오. 완벽한 세상에서 A/A 테스트는 동일한 결과를 반환합니다. 실제로 그런 일은 거의 일어나지 않지만, 여전히 얼마나 많은 불일치를 처리하고 있는지 알게 될 것입니다.
예를 들어 A/A 테스트를 실행하면 동일한 세션, 사용자, 방문, 전환 또는 측정하려는 모든 측정항목에 대해 Google Analytics가 테스트 도구와 비교하여 얻은 측정항목을 확인할 수 있습니다.
2. 모든 도구에서 동일한 방식으로 방문자 및 방문 추적
분석 도구에서 추적한 방문자 또는 방문 수는 사용자 및 세션과 정확히 일치하지 않습니다. 그러나 불일치를 줄이기 위해 분석 및 A/B 플랫폼에서 방문이 동일한 방식으로 계산되도록 할 수 있습니다.
Google Analytics에는 방문이 종료되는 두 가지 방법이 있습니다.
- 시간 기반 만료: 여기에서 세션은 30분 동안 활동이 없거나 자정에 만료됩니다. 반면, 예를 들어 Kameleoon에서는 30분 동안 활동이 없습니다.
- 캠페인 변경 : 동일한 방문자가 한 캠페인을 통해 도착하고 2분 후에 떠났다가 2분 후에 다른 캠페인을 통해 다시 오는 경우 Google Analytics는 2회의 방문으로 계산합니다. 일부 A/B 테스트 도구는 이것을 하나로 간주합니다.
조치 방법
방문자 및 방문수가 분석 도구에서 계산되는 방식을 확인하고 테스트 도구에서도 동일한지 확인하십시오. 또는 변경할 수 있습니다. Kameleoon에서는 분석 플랫폼을 단일 정보 소스로 사용하는 것이 좋습니다.
GA의 세션 설정에서 세션 및 캠페인이 시간 초과될 때까지 시간을 수정할 수 있습니다.
왜요? SSOT는 조직 수준에서 정의되어야 합니다. 따라서 테스트 팀이 하루 종일 테스트 플랫폼의 데이터 작업을 하는 경우에도 다른 팀은 다른 목적으로 GA의 데이터를 참조해야 할 수 있습니다. SSOT를 조직의 가장 광범위한 팀에서 참조하는 데이터세트로 설정합니다.
3. 분석 도구에서 브라우저 및 버전 필터 생성
대부분의 A/B 테스트 플랫폼은 Internet Explorer에서 실행되지 않으므로 해당 브라우저에서의 모든 방문은 실험 보고서에서 자동으로 제외됩니다. 그러나 IE를 사용하는 대규모 레거시 조직을 대상으로 하는 경우 IE는 여전히 데이터 불일치를 일으킬 수 있습니다.
또 다른 잠재적인 추적 문제는 Google Analytics가 모든 브라우저 버전과 호환되는 반면 A/B 테스트 도구는 일반적으로 마지막 몇 가지 버전과만 완전한 호환성을 유지한다는 것입니다.
조치 방법
Google Analytics에서 모든 플랫폼이 일치하도록 관심 있는 브라우저 및 브라우저 버전을 기반으로 사용자 정의 필터를 만드십시오. 당신은 이것을
예를 들어 보기에서 이전 버전의 Chrome을 제외하는 방법은 다음과 같습니다.
4. 모든 도구에서 문제가 있는 트래픽 필터링
합법적인 청중에게서만 데이터를 수집하여 SSOT 데이터 세트를 가능한 한 깨끗하게 유지하십시오. 봇, 트롤, 트래커 버그 또는 기타 이상값 트래픽으로 데이터를 혼란스럽게 만들고 싶지 않습니다. 볼륨 감소에 대해 걱정하지 마십시오. 결과의 품질이 향상됩니다.
조치 방법
고급 A/B 테스트 도구는 즉시 사용 가능한 여러 봇 필터링 설정을 제공합니다. 예를 들어 이상값 동작을 감지하거나 세션이 의심스러운 활동 상태에 빠지면 수집된 통계에서 트래픽을 자동으로 제거할 수 있습니다.
반면에 GA를 사용하는 경우 필터를 사용하여 분석 데이터에서 봇 트래픽을 감지하고 제외하는 방법을 결정하는 것은 사용자의 몫입니다. 참고로 다음은 제외할 수 있는 몇 가지 조건입니다.
- 방문 시간 > 120분
- 방문 기간 < 100밀리초
- 이벤트 수(전환, 클릭, 타겟팅, 제품, 페이지 조회 등) > 10K
또한 조직 내에서 내부 트래픽을 제외하려고 합니다. 이 SSOT 데이터 세트를 구축하는 목표는 동료가 아니라 실제 고객에 대한 데이터의 확실한 소스를 확보하는 것입니다.
GA에서 내부 트래픽을 필터링하려면 관리자 패널 > 모든 필터로 이동하여 새 필터를 만드세요. 필터 유형을 '정의되지 않음'으로 설정합니다. 그런 다음 제외할 내부 IP 범위를 추가합니다.
5. 광고 차단기 피하기
많은 방문자가 Adblock, Ghostery 및 uBlock과 같은 광고 차단기를 사용합니다. 일부 광고 차단기는 실험 도구의 분석 이벤트를 포함하여 클라이언트 측 추적기를 차단할 수도 있습니다.
방문자의 상당 부분이 브라우저에서 광고 차단기를 활성화한 경우 기록된 방문 수가 A/B 테스트 도구와 분석 플랫폼 간에 다를 가능성이 높습니다.
조치 방법
일부 플랫폼은 광고 차단기에 의해 차단되지 않도록 허용하는 "온프레미스" 추적 요청 URL을 제공할 수 있습니다. 여기에서 추적은 서버 측에서 발생하므로 adblocker와 같은 클라이언트 측 코드 차단은 합법적인 추적을 중지하지 않습니다. 가능한 모든 플랫폼에서 활성화하십시오.
분석 플랫폼과 테스트 플랫폼 간의 불일치를 더 잘 이해하는 또 다른 방법은 테스트 도구가 로드된 후 분석 플랫폼에 이벤트를 보내는 것입니다. 그러면 A/B 테스트 도구를 차단하는 광고 차단기를 사용하는 방문자의 비율을 명확하게 알 수 있습니다. 그런 다음 광고 차단기를 사용하는 방문자를 제외하도록 트래픽을 필터링해야 합니다.
6. 모든 동일한 페이지에 도구 설치
스니펫 배치는 특히 전체 사이트를 대상으로 하는 실험을 실행하려는 경우 데이터 불일치의 일반적인 근본 원인입니다. 그 이유는 많은 실험 도구가 "전체 사이트"를 코드 조각이 있는 모든 페이지로 취급하기 때문입니다. 불행히도 스니펫을 복사한 경우 스테이징 사이트도 포함될 수 있습니다.
조치 방법
아직 실행하지 않았다면 지금이 A/A 테스트를 실행하여 플랫폼을 보정할 좋은 시간입니다. 그런 다음 모든 도구가 동일한 페이지에서 구현되었는지 확인합니다.
그렇지 않은지 확인하는 한 가지 방법은 방문한 페이지 URL로 데이터를 분류하는 것입니다. 이렇게 하면 실험이 실행된 모든 기본 URL이 표시되어 테스트 도구가 로드되지 않아야 하는 URL을 식별할 수 있습니다. Kameleoon에서 이 옵션은 다음과 같이 표시됩니다.
마지막 생각들
신중한 분석 후 Kameleoon은 데이터 불일치가 있는 클라이언트가 마지막 문제에 직면했다고 판단했습니다. Google Analytics와 테스트 도구가 동일한 페이지에서 실행되고 있지 않았습니다.
GA는 검색 결과 페이지로 가는 모든 트래픽을 추적했지만 더 좁은 매개변수로 테스트 도구를 구성했습니다. 실험에서는 검색창에서 검색한 후에만 액세스 페이지에 대한 방문을 계산했습니다.
두 페이지가 동일해 보이지만 URL이 달라 데이터 불일치가 발생했습니다. 그러나 일단 해결되면 데이터 테스트를 위한 신뢰할 수 있는 SSOT를 갖게 되었고 많은 귀중한 통찰력을 생성하게 되었습니다.
테스트 도구의 기본 설정이 분석 추적과 일치하지 않는 부분을 인식하여 보고할 방문자 수 또는 설정을 사용하여 차이를 최소화하는 방법을 결정할 수 있습니다.
불일치를 제거하고, 단일 정보 소스를 설정하고, 하나의 공통 데이터 세트를 중심으로 팀을 결집하십시오. SSOT를 설정하는 것은 더 좋고, 더 안정적이며, 더 통찰력 있는 테스트를 위한 첫 번째 단계입니다.