고급 디지털 마케터를 위한 권장 A/B 테스트 스택

A/B 테스팅의 개념은 간단합니다. 두 가지 버전의 콘텐츠를 서로 비교하여 어느 버전이 더 나은 성능을 보이는지 결정합니다.

분할 테스트를 실행한 결과 귀하의 비즈니스와 웹사이트는 더 많은 리드와 더 높은 전환율의 이점을 누릴 수 있습니다.

제 이름은 Lars Lofgren이고 Quick Sprout에서 회사를 운영하기 전에 Growth에서 경력을 시작했습니다. KISSmetrics의 성장 이사이자 부자가 되는 방법을 가르쳐 드리겠습니다. 저는 개인적으로 주요 목표를 달성하는 일을 담당했으며 A/B 테스트 프로그램을 실행하여 각 웹사이트의 전환율을 개선했습니다.

저는 제 경력 동안 수백 번의 A/B 테스트를 수행했습니다.

두 회사 모두에서 전환율이 2배, 3배 증가했습니다. 더 구체적으로 말하면, 나는 KISSmetrics에서 월간 리드 흐름을 4배로 늘리고 I Will Teach You To Be Rich에서 월 40,000개의 리드를 생성하는 리드 생성 머신을 구축했습니다.

마케팅 경력 동안 사용 가능한 테스트와 관련된 거의 모든 소프트웨어를 사용해 보았습니다. 일부는 놀랍고 일부는 그렇지 않았습니다. A/B 테스트 프로그램을 다시 시작한다면 이것이 내가 신뢰할 수 있는 11가지 도구입니다.

A/B 테스트를 위한 최고의 도구

A/B 테스트에 필요한 도구에는 여러 가지가 있습니다. 테스트 실행을 위한 단일 도구 이상입니다. 적용 가능한 모든 범주를 살펴보겠습니다.

거래 및 맞춤 이메일

거래 이메일을 제대로 테스트하려면 이메일 생성 및 분석을 완벽하게 제어해야 합니다. SendGrid는 이러한 유형의 컨트롤을 제공합니다. MailChimp와 같이 널리 사용되는 이메일 도구는 충분히 강력하지 않으며 많은 마케팅 자동화 도구도 충분히 유연하지 않습니다. 개발자가 완전히 제어할 수 있는 이메일 도구가 있는 것이 좋습니다.

Sendgrid에는 일부 A/B 테스트가 내장되어 있지만 제한적입니다.

Sendgrid의 마법은 내장 기능에서 나오는 것이 아닙니다. 개발자가 완전한 제어 권한을 가지고 있기 때문에 전체 이메일과 유입경로를 A/B 테스트할 수 있기 때문입니다. 모든 권한이 있으면 원하는 모든 테스트를 실행할 수 있습니다.

첫째, 나는 개인적으로 제목 줄이나 클릭률을 테스트하는 것을 귀찮게하지 않습니다. 그들은 비즈니스에 실질적인 영향을 미치지 않습니다. 둘째, 콘텐츠를 테스트하는 것은 괜찮지만 완전히 다른 이메일 유입경로 를 테스트하는 것을 선호합니다 . 그것이 내가 가장 큰 승리를 얻은 곳입니다. 그렇기 때문에 내장된 테스트 UI를 무시하고 전체 이메일에 Sendgrid를 사용합니다.

내 A/B 이메일 테스트의 대부분은 실제로 홀드아웃 테스트입니다. 테스트 그룹의 50%에게 이메일을 보내고 나머지 50%에게는 아무 것도 보내지 마십시오. 당신은 그 이메일의 진정한 효과를 볼 수 있을 것입니다.

설문조사

SurveyMonkey는 온라인 설문조사를 위한 업계 표준입니다. 이 글을 읽고 있는 거의 모든 사람들은 플랫폼을 통해 한 번쯤은 설문조사에 응했습니다.

저는 SurveyMonkey가 사용하기 매우 쉽기 때문에 좋아합니다. 거의 모든 사람이 그것에 익숙하기 때문에 사용자는 자신의 소프트웨어로 구동되는 설문조사에 편안하게 참여할 수 있습니다.

"왜 설문조사를 A/B 테스트 스택의 일부로 간주합니까?"라고 물을 수 있습니다.

설문 조사 응답은 A/B 테스트를 승리로 이끄는 통찰력을 제공합니다. 테스트를 실행하기 전에 질적 연구부터 시작합니다. 고객을 더 잘 이해할수록 A/B 테스트에서 승자를 찾을 확률이 높아집니다.

귀중한 정성적 통찰력을 수집하려면 다음 팁을 염두에 두십시오.

• 설문조사를 지나치게 복잡하게 만들지 마십시오. 당신이 정말로 알아야 할 5-10개의 질문에 집중하십시오.
• 고객이 겪고 있는 문제에 대한 대부분의 질문에 초점을 맞춥니다.
• 응답자에게 정말 좋은 직관이 생길 때까지 개방형 질문으로 시작하세요.

더 많은 안내를 위해 여기에 훌륭한 설문조사 팁이 많이 있습니다.

사용자 테스트

A/B 테스트 승리에 대한 정성적 통찰력을 찾는 또 다른 좋은 방법은 사용자 테스트를 사용하는 것입니다. 이러한 실험에 가장 적합한 도구는 UserTesting입니다.

가장 먼저 해야 할 일은 청중을 선택하는 것입니다. 자신의 청중을 사용하거나 UserTesting의 패널을 통해 특정 대상과 연결할 수 있습니다. 플랫폼을 사용하면 인구 통계 및 기타 요소를 정확하게 사용하여 실험에 가장 적합한 사용자를 찾을 수 있습니다.

다음으로 5명 또는 10명의 사용자를 선택하여 웹사이트에서 온보딩 프로세스 또는 기타 기존 사용자 흐름 작업을 수행합니다. UserTesting은 이러한 사용자가 귀하의 콘텐츠와 상호 작용하는 비디오를 제공합니다. 결과적으로 주요 마찰 지점을 식별하여 A/B 테스트에서 승리할 수 있습니다.

이것은 A/B 테스트 승리를 위한 금광입니다. 가입 또는 온보딩 흐름에서 이 중 몇 가지를 실행하는 것이 좋습니다. 나는 항상 나중에 큰 승리로 이어지는 주요 마찰 지점을 찾습니다. KISSmetrics에서 우리는 사람들이 추적하는 데 필요한 모든 데이터를 매핑하는 것이 얼마나 어려운지 배웠습니다. 그런 다음 온보딩을 개선하여 더 구조화되고 모든 데이터를 단계별로 안내했습니다.

비즈니스 인텔리전스

진지한 A/B 테스트 프로그램을 원하는 사람들은 모든 데이터와 보고를 사내에서 가져와야 합니다. 이를 효과적으로 수행하려면 일종의 데이터 웨어하우스가 필요합니다. 이것이 설정되면 비즈니스 인텔리전스 보고를 위한 최고의 도구인 Tableau를 구현할 수 있습니다.

Tableau를 사용하는 이유는 Tableau가 완벽한 제어 기능을 제공하고 원하는 보고서를 생성할 수 있기 때문입니다. 내가 필요한 정확한 쿼리, 보고서 및 시각화를 알고 있기 때문에 모든 것을 내가 원하는 방식으로 구축할 수 있습니다.

그러나 불행한 소식은 누군가가 그것을 관리하고 당신이 필요로하는 보고서를 작성해야한다는 것입니다. 이는 정규직입니다. 어떤 보고가 필요한지 알기 위해서는 경영진 수준의 전문 지식도 필요합니다. 기존의 BI 분석가는 보고서를 작성할 수 있지만 비즈니스에 가장 중요한 보고서와 메트릭을 알지 못합니다. 이 모든 것이 빠르게 비쌉니다.

이 솔루션은 모든 사람을 위한 것이 아닙니다. 제대로 실행되었는지 확인할 수 있는 전문 지식과 예산이 있는 경우에만 이 경로를 사용하십시오.

통계적 유의성 계산기

기술 수준에 따라 통계적 유의성 계산을 위해 두 가지 도구가 권장됩니다.

쉬운 계산기
Neil Patel의 A/B 유의미한 계산기는 가장 간단한 옵션입니다. 각 유사 콘텐츠에 대한 방문자 및 전환 수를 수동으로 삽입하기만 하면 됩니다.

그런 다음 계산기는 테스트가 결론을 도출하기에 충분히 중요한지 여부를 결정합니다.

고급 계산기
고급 옵션의 경우 AB Testguide 계산기가 최상의 솔루션입니다. 이 도구는 계산에 포함할 더 많은 매개변수를 제공합니다.

이 계산기를 사용하면 가설을 선택하고 신뢰 수준을 선택할 수 있습니다. 심지어 테스트 결과가 더 고급스럽습니다. 이 도구는 그래프뿐만 아니라 관측된 검정력, p-값, z-점수 및 차이의 표준 오차와 같은 기타 통계 데이터도 표시합니다.

많은 테스트를 수행했거나 통계에 대한 배경 지식이 있는 경우에만 의미가 있는 추가 세부 정보입니다. 이것이 너무 복잡하면 더 간단한 계산기를 선택하십시오.

왜 이것들을 사용합니까?

대부분의 테스트 도구는 통계적 유의성을 계산하지 않습니까?

내가 배운 교훈이 하나 있다면, 새로운 도구를 맹목적으로 신뢰하지 말라는 것입니다. A/B 테스트 도구를 신뢰할 수 있다고 확신할 때까지 통계적 유의성 계산을 다시 확인하십시오. 통계적 유의성을 계산하는 방법에는 여러 가지가 있으며 이 항목을 엉망으로 만들기 쉽습니다.

그래서 새로운 테스트 소프트웨어로 작업할 때마다 계산이 확실하다는 것을 확신할 때까지 항상 위의 계산기 중 하나를 사용합니다.

웹 분석

트래픽 분석의 끝판왕 구글애널리틱스를 만나보세요.

웹사이트를 A/B 테스트하려면 특히 다음과 같은 트래픽 역학을 이해해야 합니다.

• 어떤 페이지에서 가장 많은 트래픽이 발생합니까?
• 어떤 트래픽 소스가 증가하거나 감소합니까?
• 어떤 페이지에서 가장 많은 트래픽이 발생합니까?

Google Analytics를 사용하여 A/B 테스트하려는 페이지에 충분한 트래픽이 있는지 확인하는 경우에도 쉽게 설치할 가치가 있습니다. 또한 완전 무료이며 세계적 수준의 도구입니다.

거의 모든 사이트에 설치되는 이유가 있습니다. 데이터 품질, 보고서 및 통찰력의 양, 완전 무료라는 사실이 Google Analytics를 최고의 거래로 만듭니다.

이전에는 Google Analytics 프로필을 많이 사용자 지정했습니다. 그러나 현재는 설정을 거의 건드리지 않고 내장 보고서에 의존합니다. 그래서 나는 당신이 똑같이 할 것을 제안합니다.

사용자 분석

두 번째 분석 도구가 필요한 이유는 무엇입니까? 구글 애널리틱스로 충분하지 않습니까?

세월이 흘러도 Google Analytics는 트래픽 분석에 탁월합니다. 예, 현재 사용자 추적 기능이 있지만 이를 위해 설계된 것은 아닙니다. 실제 사용자 분석에 사용하려면 Google Analytics 고급 사용자여야 합니다.

이를 위해 사용자 분석 및 고객 데이터에 가장 좋아하는 도구는 사용자 유입경로를 쉽게 추적할 수 있기 때문에 Amplitude입니다.

대부분의 A/B 테스트 프로그램은 일반적으로 가입 및 온보딩 유입경로에 중점을 둡니다. 테스트할 볼륨이 많을 뿐만 아니라 이러한 유입경로를 약간만 개선해도 비즈니스에 큰 영향을 미칠 수 있습니다.

유입경로를 테스트할 때 매달 모니터링하여 꾸준히 개선되고 있는지 확인하고 싶을 것입니다. A/B 테스트는 하나의 결과를 보고할 수 있지만 월별 KPI는 완벽하게 일치하지 않습니다.

데이터 웨어하우스와 Tableau와 같은 비즈니스 인텔리전스 도구를 모두 사용하기로 결정했다면 사용자 분석 도구를 완전히 건너뛸 수 있습니다. 사용자 분석 도구는 비즈니스가 전체 인프라를 구축할 준비가 되지 않았을 때 좋은 중간 단계라는 것을 알았습니다.

클릭 후 방문 페이지

광고 후 클릭의 경우 "A/B 테스트" 또는 "빌더"가 있는 올인원 소프트웨어가 아닌 랜딩 페이지 경험을 전문으로 하는 전용 솔루션이 필요합니다. 이는 각 캠페인에 고유한 클릭 후 방문 페이지가 있고 프로세스에서 각 페이지를 A/B 테스트해야 하는 경우에 특히 그렇습니다. Instapage는 모든 캠페인의 랜딩 페이지 제작을 확장하는 데 도움이 될 뿐만 아니라 A/B 테스트가 내장되어 있습니다. 성공을 찾으면 즉시 실행할 수 있습니다.

내 마케팅 프로그램은 항상 수많은 방문 페이지로 끝납니다. 트래픽이 가장 많은 페이지를 A/B 테스트하지 않으면 수익이 테이블에 남아 있습니다.

히트맵

고객 조사에서 공통적인 조언이 있습니다. "사람들이 말하는 것에 집중하지 말고 그들이 하는 일에 집중하세요." 이것이 히트맵이 질적 통찰력을 위한 또 다른 훌륭한 데이터 수집 리소스인 이유입니다. 히트맵은 사람들의 행동 방식에 대한 더 나은 아이디어를 얻는 데 적합합니다. 게다가 그들은 매우 이해하기 쉽습니다.

사람들이 무엇을 클릭하는지, 얼마나 멀리 스크롤하는지, 마우스가 어디로 움직이는지를 아는 것은 최적화를 위한 모든 종류의 아이디어에 박차를 가합니다. 이는 A/B 테스트를 위한 아이디어의 또 다른 금광입니다.

Instapage에는 클릭 후 방문 페이지에 대해 세 가지를 모두 수행할 수 있는 히트맵이 플랫폼에 내장되어 있습니다(아래 이미지는 클릭 맵일 뿐입니다).

메인 사이트에서도 히트맵을 실행하고 싶을 것입니다. 이 경우 Crazy Egg를 추천합니다.

홈페이지, 가격 책정 페이지 및 온보딩 흐름에서 히트맵을 실행합니다. 예상하지 못한 클릭이 많이 발생하는 항목과 더 많은 관심을 받을 것으로 생각했지만 그렇지 않은 항목을 찾으십시오. 그런 다음 사람들이 관심을 두지 않는 부분은 강조하지 않고 원하는 것은 강조하는 테스트 아이디어를 생각해 보세요.

CXL에는 여기에서 히트맵을 사용하는 방법에 대한 훌륭한 팁이 많이 있습니다.

A/B 테스트

A/B 테스트 도구 자체는 어떻습니까? 홈페이지, 온보딩 흐름 및 제품을 테스트하는 가장 좋은 옵션은 무엇입니까? 내 생각에 VWO:

VWO에는 $199/월부터 시작하는 견고한 A/B 테스트 제품이 있습니다. 연간 수만 달러에 쉽게 도달할 수 있는 다른 도구와 비교할 때 VWO는 훨씬 더 쉽게 접근할 수 있습니다. 달러당 가치는 매우 높습니다.

VWO를 사용하면 여러 분할 테스트를 동시에 실행할 수 있습니다. 코드를 편집하지 않고도 A/B 테스트를 실행할 수 있는 비주얼 편집기도 있습니다. 헤드라인과 같은 요소를 테스트하는 데 적합합니다. 또한 코드 편집기를 사용하여 테스트에 고급 변경 사항을 적용할 수도 있습니다. 코드 편집기가 크게 개선되었습니다.

워드프레스 A/B 테스트

WordPress는 세계에서 가장 인기 있는 CMS이지만 전체 WordPress 사이트에서 A/B 테스트를 실행하는 것은 어려울 수 있습니다. 플랫폼은 확실히 이것을 위해 설계되지 않았습니다.

이것이 WordPress A/B 테스트를 위해 Nelio와 같은 플러그인을 사용해야 하는 이유입니다.

경고 받다; 이 테스트 를 수행하기 전에 사이트를 정리하고 싶습니다. 모든 것을 정리하지 않으면 수많은 플러그인 충돌이 발생하고 사이트는 유효한 테스트를 위해 충분히 빠르게 테스트 변형을 제공할 수 없습니다. WordPress는 사이트 전체 테스트용으로 설계되지 않았기 때문에 A/B 테스트가 플러그인, 테마 및 제대로 구축되지 않은 사이트와 충돌하기 쉽습니다.

먼저 좋은 웹 호스트를 확보하십시오. 마지막으로 원하는 것은 변형 제공을 지연시키는 느린 호스트이므로 사용자가 변경 사항을 알 수 있습니다. 그런 다음 WordPress 테마를 정리하고 불필요한 플러그인을 제거하십시오. 이것은 플러그인 충돌을 줄이고 눈에 띄지 않도록 충분히 빠르게 테스트를 제공합니다.

WordPress 사이트가 정리되고 로드 시간이 빨라지면 Nelio를 설치하고 이를 사용하여 사이트 전체의 A/B 테스트를 실행합니다. 이메일 구독으로의 전환을 늘리기 위해 블로그에서 많은 테스트를 실행했습니다.

결론

진정한 A/B 테스트 프로그램은 효과적으로 실행하기 위한 도구 모음이 필요합니다. 여러 회사에서 수백 가지 도구를 직접 테스트하고 수백 가지 테스트를 수행한 후 디지털 마케팅의 다양한 영역에 초점을 맞추고 모든 범주에서 "최고"가 아닌 하나의 스택을 선호하기 때문에 위의 스택을 선호합니다.

고려하고 있는 최신 최신 도구가 있으면 이 중 하나를 자유롭게 교체하십시오. 나의 일반적인 규칙은 사용자 기록이나 설문 조사 도구와 같이 시작하고 중지하기 쉬운 도구를 자주 실험하는 것입니다. 그러나 분석과 같은 인프라 도구의 경우 신뢰할 수 있고 몇 년 동안 의지할 수 있는 도구를 선택합니다.

저자 소개
Lars는 현재 QuickSprout의 CEO입니다. 그 전에는 I Will Teach You To Be Rich and KISSmetrics의 성장 이사였습니다.