성공을 제한하는 13가지 이메일 A/B 테스트 실수

Red C의 Stuart Clark은 Litmus Live London 2017에서 "테스트를 해야 합니다. 그렇지 않으면 교육받은 추측에 불과합니다."라고 말했습니다. 이메일 A/B 테스트는 작년에 있었던 3개의 Litmus Live 이벤트와 이번 행사에서 모두 반복되는 주제였습니다. 년도. 이메일 마케팅 담당자가 캠페인을 반복하고 개선할 수 있는 가장 강력한 기회 중 하나이기 때문에 이는 놀라운 일이 아닙니다.

A/B 테스트는 제목, 이메일 디자인, 랜딩 페이지 등의 중대한 변경 사항을 발견하는 데 도움이 될 수 있습니다. 이익은 얼마나 클 수 있습니까?

“A/B 테스트하는 전자상거래 브랜드
이메일로 20% 더 많은 수익 창출
평균적으로."

—알렉스 켈리(MailChimp)
리트머스 라이브 2017에서

이 인용문 트윗 →

이메일을 A/B 테스트하려면 두 개의 다른 구독자 그룹에게 두 가지 변형을 제시한 다음 듣기만 하면 됩니다. 측정항목은 선호도를 알려줍니다. 그러면 단기적으로는 더 많은 잠재고객에게 가장 좋은 대안을 보내거나 장기적으로는 해당 선호도를 향후 캠페인에 적용하여 조치를 취할 수 있습니다.

간단해 보이지만 어느 정도는 이메일 서비스 제공업체와 테스트 소프트웨어 제공업체가 이메일 A/B 테스트를 과거보다 훨씬 쉽게 실행할 수 있는 기능을 출시한 덕분입니다. 그러나 이메일 A/B 테스트를 엉망으로 만들고 잘못된 결론에 도달하거나 결과를 완전히 훼손하는 것은 다소 간단합니다.

그런 운명을 피하기 위해 다음은 이메일 A/B 테스트를 최대한 활용할 수 있는 13가지 팁입니다.

1. 브로드캐스트 및 분할된 이메일뿐만 아니라 자동화된 트랜잭션 이메일을 테스트합니다.

Litmus의 2018년 이메일 현황 조사에 따르면 거의 39%의 브랜드가 방송 및 분할 이메일을 A/B 테스트하지 않거나 거의 하지 않습니다.

그것은 놓친 기회이지만 자동화 및 거래 이메일을 보면 훨씬 더 많은 돈이 남아 있습니다. 브랜드의 65% 이상은 자동화된 이메일을 A/B 테스트하지 않거나 거의 테스트하지 않으며 76%는 거래 이메일을 A/B 테스트하지 않거나 거의 테스트하지 않습니다.

브로드캐스트 및 세분화된 이메일을 A/B 테스트하면 경쟁 우위를 제공하는 반면 자동 및 트랜잭션 이메일을 A/B 테스트하면 큰 이점을 얻을 수 있기 때문에 부끄러운 일입니다. 성공적인 이메일 프로그램은 덜 성공적인 프로그램보다 최소 1년에 한 번 트리거된 이메일을 A/B 테스트할 가능성이 58% 더 높습니다. 그리고 성공적인 프로그램은 거래 이메일을 적어도 1년에 한 번 A/B 테스트할 가능성이 53% 더 높습니다.

이 두 가지 작업은 모두 성공적인 이메일 마케팅 프로그램이 하는 20가지 작업 중 상위 10가지에 속합니다.

트리거된 이메일은 설정하고 잊어버리는 프로그램으로 종종 찬사를 받지만 이메일 마케팅에서 '설정하고 잊어버려'라는 것은 없다는 사실을 기억하십시오. Litmus의 2018년 이메일 현황 조사에 따르면 이러한 이메일은 브랜드의 13% 이상에서 이메일 마케팅 수익의 대부분을 차지합니다. 그리고 그 비율은 앞으로 몇 년 동안 증가할 것입니다.

2. 이메일 A/B 테스트 노력을 실적에 대한 바늘을 움직일 가능성이 가장 큰 캠페인 요소에 집중하십시오.

때로는 사소한 요소에 대한 작은 조정이 바늘을 움직일 수 있지만 일반적으로 제목, 클릭 유도문안 및 이미지와 같은 주요 이메일 요소에 테스트를 집중하는 것이 좋습니다.

3,000명의 마케터를 대상으로 한 설문 조사에 따르면 대부분의 브랜드가 현재 이메일 A/B 테스트에 집중하고 있습니다. 당신도해야합니다.

이러한 요소 외에도 자동화된 이메일에는 테스트할 가치가 있는 다른 요소가 있습니다. 내 책인 이메일 마케팅 규칙 에서 다음을 테스트하는 것이 좋습니다.

• 자동화된 이메일에 대한 다양한 트리거 로직
• 메시지가 트리거된 후 메시지를 보내는 속도
• 일련의 자동화된 이메일을 보낼지 여부
• 일련의 자동화된 이메일 사이의 지연
• 어떤 조건에서 시리즈의 자동 이메일을 건너뛰나요?
• 자동화된 이메일 시리즈가 끝나는 조건

3. 테스트를 통해 로컬 최대값 또는 글로벌 최대값에 더 가까워졌는지 이해합니다.

이메일에 대한 점진적인 조정이나 급격한 변경을 테스트하고 있습니까? 인디드 제품 관리자인 Janie Clarke가 Litmus Live San Francisco에서 지적했듯이 작은 조정은 로컬 최대값의 상단에 도달하는 데 도움이 될 수 있지만 새로운 글로벌 최대값을 찾는 데는 도움이 되지 않기 때문에 무엇을 이해하는 것이 중요합니다. 그것을 찾으려면 완전히 다른 접근 방식을 시도해야 합니다.

예를 들어 버튼의 색상을 테스트하거나 버튼과 비교하여 텍스트 링크를 테스트하는 것은 해당 이메일 디자인을 최적화하거나 로컬 최대값에 도달하는 데 도움이 될 뿐입니다. 그러나 예를 들어 카피가 많은 디자인과 이미지가 많은 디자인을 테스트하거나 대화형 이메일과 텍스트 전용 이메일을 비교하면 메시지를 전달하는 가장 좋은 방법을 찾거나 글로벌 최대값을 찾는 데 도움이 될 수 있습니다.

4. A/B 테스트를 한 번에 한 가지로 제한하십시오.

다변수 테스트를 수행하지 않는 한 A/B 테스트를 테스트당 하나의 변경으로 제한하고 싶을 것입니다. 예를 들어 다음을 테스트할 수 있습니다.

• 녹색 버튼과 파란색 버튼
• 사회적 증거가 포함된 이메일 사본과 사회적 증거가 없는 이메일 사본
• 라이프스타일 영웅 이미지 대 제품 영웅 이미지
• 퍼센트 할인 대 달러 할인

버전 A와 B 사이에 둘 이상의 차이가 있으면 성능 차이를 가져온 요소를 명확하게 판별하기 어렵습니다.

5. 명확한 가설을 세워라.

효과가 있는지 확인하기 위해 무작위로 변경하지 마십시오. 달성하려는 것이 무엇인지 알고 테스트하는 것이 원하는 목표를 달성하는 데 도움이 되는 이유에 대한 확실한 근거를 확보하십시오.

예를 들어, 전환을 높이려는 경우 클릭 유도문안이 스크롤 없이 볼 수 있는 부분에 있는 이메일 사본과 콘텐츠가 CTA보다 앞서서 강력한 생성을 시도하는 다른 버전을 만들 수 있습니다. CTA에 대한 관심 또한 환영 이메일의 제목 줄에서 이름으로 새 구독자에게 주소를 지정하면 전환이 증가했는지 확인하려면 제목 줄에 개인화를 적용하고 다른 제목 줄에 맞춤설정하지 않은 상태로 테스트합니다.

Behave.org와 같은 사이트는 다른 브랜드가 수행한 작업을 기반으로 시도할 테스트에 대한 많은 아이디어를 제공할 수 있습니다.

6. 캠페인 목표와 일치하는 테스트 승리 지표를 선택합니다.

우리는 이것을 충분히 강조할 수 없습니다. 깔때기 아래로 충분히 멀리 테스트해야 합니다. 대부분의 경우 가능한 한 깔때기 아래에서 테스트하는 것을 의미합니다. 대부분의 이메일 캠페인은 이메일 전환 또는 판매 전환을 생성하려고 시도하므로 이메일 A/B 테스트도 이러한 측정항목을 이동하는 데 중점을 두어야 합니다.

일부 마케터가 잘못 생각하는 부분은 제목이 열림에만 영향을 미치고 이메일 콘텐츠는 클릭에만 영향을 미치며 랜딩 페이지 콘텐츠는 전환에만 영향을 줄 수 있다고 생각한다는 것입니다. 사실이 아니다! 이메일 상호작용의 여러 단계는 개별적으로 작동하지 않습니다. 가입자가 모두 함께 경험하기 때문에 모두 함께 작동합니다.

당신이 그것을 받아들일 때, 당신은 제목 라인의 목표가 열기를 생성하는 것이 아니라는 것을 깨닫습니다. 전환 가능성이 높은 오프너를 생성하는 것입니다. 마찬가지로 이메일 콘텐츠의 목표는 클릭을 생성하는 것이 아닙니다. 전환 가능성이 높은 클릭 사용자를 생성하는 것입니다.

확신하지 못하셨나요? 직접 확인하는 것은 쉽습니다. 몇 가지 제목 라인 A/B 테스트를 실행하고 다양한 제목 라인이 이메일 상호 작용 깔때기 전체에 걸쳐 활동에 어떻게 영향을 미치는지 살펴보세요.

또한 제목 줄 A가 제목 줄 B보다 더 많은 전환을 생성하는 경우 제목 줄 B가 더 많이 열리면 누가 신경을 쓰겠습니까? 이메일 콘텐츠 A가 이메일 콘텐츠 B보다 더 많은 전환을 생성한다면 누가 이메일 콘텐츠 B보다 더 많은 클릭을 생성하는지 누가 신경을 쓰겠습니까? 우리는 당신의 상사가 더 많은 전환을 선호할 것이라고 보장합니다.

2018년 이메일 분석 현황 귀하의 이메일 분석 기능은 동료에 비해 어떻습니까? 최초의 이메일 분석 현황 보고서를 통해 브랜드가 측정하는 이메일 메트릭(및 이를 위해 사용하는 도구)을 확인하십시오. 사본 받기 →

7. 유사한 구독자의 테스트 대상 세그먼트를 사용합니다.

이메일의 버전 A와 B에 대한 변경 사항을 제어하는 ​​것처럼 각 버전을 받는 사람도 제어해야 합니다. 예를 들어 새 구독자이든, 고객인 구독자든, 특정 지역의 구독자이든 두 개의 테스트 그룹이 동일한 종류의 구독자로 구성되기를 원합니다.

8. 활성 구독자의 테스트 대상 세그먼트를 사용합니다.

마찬가지로 두 테스트 수신자 그룹에 정기적으로 이메일을 사용하는 활성 구독자가 포함되어 있는지 확인하려고 합니다. 그렇지 않고 버전 A가 버전 B를 받은 그룹보다 훨씬 더 활동적인 구독자 그룹으로 이동하는 경우 버전 A의 내용과 잠재적으로 아무 관련이 없는 이유로 버전 A가 "승리"할 가능성이 더 높습니다.

한 가지 주의할 점은 재참여 이메일을 테스트하는 경우에는 물론 비활성 구독자를 대상으로 하려는 경우입니다.

9. 테스트 그룹이 결과가 통계적으로 유의할 만큼 충분히 큰지 확인합니다.

테스트 대상이 너무 작으면 테스트 결과가 무작위로 인한 것일 수 있습니다. 충분히 큰 테스트 대상을 확보하여 결과가 통계적으로 유의미한지 확인하십시오.

Kissmetrics, AB Testguide 및 Optimizely에는 모두 온라인 계산기가 있습니다.

10. 적절한 경우 홀드아웃 그룹을 사용합니다.

테스트하는 이메일에 대해 구독자가 해당 이메일을 전혀 수신하지 않는 영향을 고려하십시오. 이메일을 받지 못한 구독자 그룹을 보유하면 그 효과를 측정할 수 있습니다.

홀드아웃 그룹은 자동화된 이메일을 테스트할 때 특히 유용합니다. 예를 들어, 새로운 장바구니 포기 이메일의 성능을 테스트하는 경우 장바구니 포기자 중 일부가 장바구니 포기 이메일을 전혀 받지 않도록 하려고 합니다. 이렇게 하면 장바구니 포기 이메일이 구독자를 짜증나게 하는지 아니면 자연스러운 쇼핑 행동을 방해하는지 측정할 수 있습니다.

그러나 보내는 모든 이메일에 홀드아웃 그룹을 사용하여 이메일이 실제로 구독자에게 긍정적인 영향을 미치는지 확인할 수 있습니다. 엔터프라이즈 소프트웨어 회사 Atlassian은 필수 홀드아웃 그룹을 포함하여 모든 이메일을 테스트해야 하는 시스템을 설정했다고 Atlassian의 참여 플랫폼 수석 제품 관리자인 Jeff Sinclair는 Litmus Live San Francisco의 참석자들에게 말했습니다.

11. 정기적으로 테스트하고 테스트 결과를 기록할 수 있도록 테스트 계획을 작성하십시오.

임시 A/B 테스트는 산발적이고 집중적이지 않기 때문에 비효율적입니다. A/B 테스트를 최대한 활용하려면 계획이 필요합니다. 다음을 기록하는 테스트 일정을 개발하십시오.

• 확인하려는 이론
• 각 이론을 테스트하는 데 사용하는 이메일
• 각 테스트의 결과 및 향후 테스트 계획에 미치는 영향

방송 및 세분화된 프로모션 이메일의 최소 절반에 A/B 테스트를 포함하는 것을 목표로 하세요. 우리 연구에 따르면 브랜드가 테스트 빈도가 낮을 ​​때 경쟁 우위를 거의 얻지 못한다는 것을 보여줍니다. 마찬가지로 브랜드는 6개월에 한 번 이상 트리거 및 트랜잭션 이메일을 A/B 테스트할 때 성공률이 크게 증가했다고 보고합니다.

또한 다음을 수행해야 하기 때문에 테스트 계획이 필요합니다.

12. 테스트 결과를 확인합니다.

모든 단일 A/B 테스트가 영원히 결정적인 것은 아닙니다. 단기적으로 볼 때 상승 효과는 새로움 효과의 결과일 수 있습니다. 구독자는 새로운 것에 매력을 느끼며, 이는 컨트롤에 비해 변경 사항을 제공할 수 있습니다.

그러나 참신 효과는 꽤 빨리 사라집니다. 따라서 일정 기간 동안 동일한 테스트를 두세 번 실행하면 참신한 효과를 짜내고 변경 사항의 진정한 영향을 볼 수 있습니다.

장기적으로 소비자의 행동과 태도는 변합니다. 이메일 목록의 구성은 구독자 확보 관행, 제품 또는 서비스 제공 변경, 특정 지역으로의 확장 또는 퇴출 및 기타 요인에 따라 시간이 지남에 따라 변경될 수도 있습니다.

테스트의 성공이 확실할수록 다시 확인하기까지 더 오래 기다릴 수 있습니다. 그러나 결국에는 모든 테스트를 적어도 한 두 번 주기적으로 재확인하기를 원할 것입니다. 이것이 A/B 테스트 계획이 중요한 이유입니다.

13. 이메일 A/B 테스트 결과를 회사의 다른 채널 소유자와 공유하십시오.

Holistic Email Marketing의 Jonathan Pay는 Litmus Live London 참석자들에게 이메일 A/B 테스트 통찰력을 웹, 소셜 미디어 및 광고 팀과 공유해야 한다고 말했습니다. 이메일 마케팅 학습은 다른 채널에서 성공을 촉진할 수 있기 때문에 훌륭한 조언입니다.

600명 이상의 마케터를 대상으로 한 Litmus 여론 조사에 따르면, 채널과 부서 간의 부적절한 조정은 2018년 이메일 마케터가 직면한 가장 큰 과제로 확인되었습니다. A/B 테스트 결과를 공유하는 것은 브랜드가 마케팅 및 고객 경험에 대한 옴니채널 접근 방식을 촉진할 수 있는 또 하나의 방법일 뿐입니다.

이메일 A/B 테스트 노력을 최대한 활용하려면…

다음 13가지 권장 사항을 따르십시오.

1. 브로드캐스트 및 분할된 이메일뿐만 아니라 자동화된 트랜잭션 이메일을 테스트합니다.
2. 이메일 A/B 테스트 노력을 실적에 대한 바늘을 움직일 가능성이 가장 큰 캠페인 요소에 집중하십시오.
3. 테스트를 통해 로컬 최대값 또는 글로벌 최대값에 더 가까워질 수 있는지 이해하십시오.
4. A/B 테스트를 한 번에 한 가지로 제한하십시오.
5. 분명한 가설을 세워라.
6. 캠페인 목표와 일치하는 테스트 승리 지표를 선택하십시오.
7. 유사한 구독자의 테스트 대상 세그먼트를 사용합니다.
8. 활성 구독자의 테스트 대상 세그먼트를 사용합니다.
9. 테스트 그룹이 결과가 통계적으로 유의할 만큼 충분히 큰지 확인하십시오.
10. 적절한 경우 홀드아웃 그룹을 사용합니다.
11. 정기적으로 테스트하고 테스트 결과를 기록할 수 있도록 테스트 계획을 작성하십시오.
12. 테스트 결과를 확인합니다.
13. 이메일 A/B 테스트 결과를 회사의 다른 채널 소유자와 공유하십시오.