베이지안 A/B 테스팅: 강력한 추론 모델

A/B 테스팅은 모든 마케터의 CRO 전략과 함께 진행됩니다. 마케터나 CRO 실무자는 조직에서 실험 문화를 수용하는 것의 가치를 과소평가할 수 없습니다. 그러나 더 높은 전환율을 달성하기 위한 최적의 대안을 찾는 것은 온라인 비즈니스 전반에 걸쳐 지속적인 과제로 남아 있습니다.

고전적인 형식에서 A/B 테스트는 대립 가설을 받아들이기 위해 기각되어야 하는 귀무 가설인 이진 모델로 작동합니다. 실험에서 통찰력을 도출하고 이를 기반으로 중요한 비즈니스 결정을 내리는 복잡한 프로세스로 인해 CRO 실무자는 기존의 빈도주의 모델보다 더 신뢰할 수 있고 직관적인 모델을 채택하고 있습니다. 베이지안 모델입니다.

베이지안 모델은 실행하는 실험의 이면에 있는 추론의 증거를 증명합니다. 이 블로그 게시물에서 우리는 베이지안 모델을 자세히 살펴보고 고전적인 빈도주의적 접근 방식과 비교하고 사용 사례에 대해 논의했습니다.

베이지안 접근법이란 무엇입니까?

베이지안 추론은 기본적으로 베이즈 정리에 기초한 믿음 기반 접근 방식입니다. 정리는 새로운 정보의 유입으로 기존 신념을 업데이트하는 수학적 프레임워크를 제공합니다.

여기 당신을 위한 예가 있습니다. 의사는 접근 방식 중 하나에 따라 환자의 의학적 문제를 진단할 수 있습니다. 빈도주의자로서 그는 진단을 위해 환자의 특정 증상에 대해 고정된 모델을 설정했습니다. 그는 환자를 조사하고 그가 가지고 있는 고정 모델을 기반으로 원인을 식별할 수 있습니다.

반대로 베이지안으로서 의사는 여전히 모델을 가지고 있습니다. 그는 자신의 상태를 측정하고 증상을 식별하기 위해 환자를 조사할 것이며, 또한 환자의 과거 통증 이력을 알고 싶어합니다 . 따라서 그의 진단에는 실제 원인을 식별하는 데 현재 증상과 과거 증상이 포함됩니다. 이 접근 방식은 기존 모델을 새로운 정보로 업데이트하여 진단 과정에 추가 비용, 시간 또는 에너지를 들이지 않고도 더 빠른 혁신으로 이어질 수 있습니다.

StackExchange의 예는 이 개념을 훨씬 더 간단하게 만듭니다.

휴대전화를 잘못 두었는데 이런 일이 항상 발생하기 때문에 휴대전화 찾기를 갖게 되었다고 가정해 보겠습니다. 휴대전화의 베이스에는 기기가 연결되어 있어 휴대전화 로케이터의 버튼을 누르면 신호음이 울리기 시작합니다. 문제는 집에서 어디에서 검색을 시작해야 합니까?

당신이 빈도주의자라면, 당신의 내장 모델은 삐 소리의 방향을 기반으로 영역을 식별할 것입니다. 따라서 집에서 장치의 위치를 ​​찾기 위해 신호음 후에 실행합니다.

그러나 베이지안으로서, 당신은 그것을 마지막으로 잃어버렸을 때 당신이 그것을 찾았던 위치를 기억할 것입니다. 부엌 슬래브에서 찾았습니까 아니면 세탁물 아래에 묻혔습니까? 그 장소에 전화를 두는 데에는 이유가 있습니다. 경고음과는 별도로 이 정보를 기억하면 증거 기반 결정을 내리는 데 도움이 될 수 있습니다. 이 경우 검색을 시작할 위치를 파악합니다.

베이지안 사고의 중요한 측면은 연구 중에 기존 신념(이전)을 탐색할 수 있고 이러한 신념이 증거 데이터로 업데이트되어 새로운 신념(후방)이 생성된다는 것입니다.

A/B 테스팅의 맥락에서 베이지안 접근법이 프리퀀티스트보다 더 유익한 이유는 무엇입니까?

일회성 이야기를 꺼리는 프리퀀티스트가 “내가 진실에 제대로 도달했는가?”라고 중얼거리는 소리를 들을 수 있다. 반대로, 궁극적인 진실을 찾는 것보다 데이터를 기반으로 의견을 업데이트하는 데 더 신경을 쓰는 베이지안은 "진리가 무엇인지 모르지만 지금부터 내 초기 의견이 바뀔 것이라고 믿습니다. 새로운 정보를 가지고 왔습니다!” 꽤 자신감이? 글쎄요!

VWO를 사용하여 A/B 테스트를 실행하여 방문자의 이탈 의도에 나타나는 배너가 블로그에서 리드 생성을 늘릴 수 있는지 확인했습니다. 베이지안 렌즈를 통해 보면 그래픽 표현에서 가능한 모든 전환율에 대한 다양한 정도의 확신을 볼 수 있습니다. 우리는 컨트롤(배너 없음)이 승자라고 결론지었고, 또한 0.25%와 0.6% 사이의 전환율에서 중복이 있었습니다.

반면에, 빈도주의적 접근 방식은 p = 0.042를 반환했으며 컨트롤이 승자라고 결론지었습니다.

빈번한 접근 방식은 상당한 수의 방문자에게 도달하여 p- 값을 반환하는 데 확고하며, 이는 비즈니스 컨텍스트에 적용하기 어렵습니다. 여기서 p = 0.042로 무엇을 식별할 수 있습니까? 혼란스러울 수 있습니다.

마케터 또는 성장 리더는 통계와 관련하여 귀하의 도구가 무거운 작업을 수행하고 올바른 비즈니스 결정을 내리는 데 도움이 되는 결과를 제공하기를 원할 것입니다.

베이지안은 CRO 노력을 최적화하는 보다 합리적이고 직관적인 방법을 제공합니다. 아래 이미지와 같이 지식 업데이트로 실험 주기에서 예측을 추론하고 학습을 유도할 때 증거에 기반한 의견을 업데이트합니다.

VWO SmartStats - 베이지안 방식

VWO는 A/B 테스트를 위한 베이지안 기반 통계 엔진인 SmartStats를 통해 베이지안 방식으로 진행합니다. 이 엔진은 지능적인 결과를 제공하여 보다 현명한 비즈니스 결정을 내리고 테스트 시간을 단축합니다.

베이지안 접근 방식을 사용하면 지식을 실험에 반복적으로 통합할 수 있습니다. SmartStats는 모든 전환율 가능성이 동일할 가능성이 있는 비정보 사전을 사용하여 이 접근 방식을 촉진합니다. 또한, 통제를 유지하고 테스트가 진행되고 종료되기 전 일정 기간 동안 중요도에 도달함에 따라 테스트를 모니터링할 수 있습니다.

블로그에서 논의한 이탈 의도 배너 예제로 돌아가 보겠습니다. 테스트를 위해 처음에는 분포가 더 넓다는 것을 관찰했습니다. 그러나 아래와 같이 데이터가 많을수록 줄어들기 시작했음을 알 수 있습니다.
테스트 시작 시 기준선을 넘을 확률은 50%에 가까웠지만 테스트가 진행되면서 방문자 1000명을 돌파한 후 95%에 도달해 컨트롤을 승자로 선언했다.

시간 및 트래픽과 관련하여 이 실험의 진행 상황을 보면 방문자 수가 가장 적은 다음과 같이 변화가 선행하는(미미한 수준) 표시됩니다.

그리고 방문자가 1000명 이하인 경우 변동이 급격히 줄어들고 제어가 확장됩니다.

컨트롤을 승자로 선언하는 최종 그래프:

베이지안 A/B 테스트는 어떻게 더 빠른 혁신을 가능하게 합니까?

실험의 일부로 믿음을 통합할 수 있는 기능이 있는 베이지안 접근 방식을 사용하면 빈도주의적 접근 방식에 비해 더 낮은 실험 비용으로 더 빠른 결정을 내릴 수 있습니다.

실험을 실행하는 데 비용이 더 많이 들고 암에 걸릴 확률이나 이메일이 스팸일 가능성을 식별하기 위한 의료 진단 테스트인지 여부에 관계없이 결정을 내릴 충분한 데이터가 없는 경우 베이지안 접근 방식을 사용하는 것이 일반적입니다.

또한 베이지안 접근 방식을 사용하면 한 실험의 사후를 다른 실험보다 먼저 제공할 수 있습니다. 따라서 이 모델을 기반으로 하는 A/B 테스트 도구를 사용하면 전환에 대한 실험을 일관되고 빠르게 최적화할 수 있습니다. 매번 실험에서 새로운 데이터를 배울 필요가 없습니다. 대신 사후(읽기: 업데이트)를 이전 데이터에 반복적으로 제공하여 더 적은 데이터로 개선을 크게 결정합니다.

블로그에서 광범위하게 논의된 이탈 의도 배너 실험을 통해 테스트의 중요성에 도달하는 즉시 진행 상황을 살펴보고 빠른 결정을 내렸습니다. 이 경우 MQL이었던 기회 메트릭의 손실을 완화하기 위해 그렇게 했습니다. 테스트는 종료 의도 배너가 우리 블로그에서 작동하지 않는다는 관찰로 종료되었습니다. 이 관찰은 블로그에 대한 후속 실험 이전에 제공되는 데이터 기반 증거(후방)로 작용할 수 있습니다.

기다리지 마세요. 천문학적인 전환을 목격할 수 있는 비즈니스 혁신의 기회를 약속하는 반복적인 A/B 테스트를 통해 뛰어들고, 빠르게 실패하고, 효과적으로 배우고, 기하급수적으로 성장하십시오.