A/A 테스팅이란 무엇이며 왜 마케터가 관심을 가져야 합니까?

이 시나리오를 겪었습니까? 새 버튼과 광고 제목 조합이 더 많은 전환을 생성할 수 있는지 알아보기 위해 A/B 테스트를 설정합니다.

클릭 후 방문 페이지(대조군 및 대안 페이지) 모두에 동일한 트래픽을 유도하고 한 달 후 소프트웨어가 99% 신뢰도로 대안 페이지를 승자로 선언하면 중단합니다…

새로운 "성공한" 디자인을 출시하지만 몇 번의 비즈니스 사이클이 끝난 후 전환율이 50% 증가해도 수익에는 영향을 미치지 않습니다. 혼란스러워요. 짜증나세요...

그리고 당신은 아마도 위양성 테스트 결과의 희생자일 것입니다.

위양성 검사 결과는 무엇입니까?

50%의 전환율 증가가 더 많은 판매로 이어지지 않는 이유는 무엇입니까? Copyhackers의 Lance Jones는 그 이유가 아마도 존재하지 않았기 때문이라고 말합니다.

테스트에서 매출이나 수익이 증가하지 않는 것은 처음부터 전혀 없었기 때문에 완전히 가능합니다(심지어 가능성도 있음). 테스트에서 무의식적으로 "거짓 양성"을 받았을 수 있습니다. 이는 유형 I 통계 오류로 알려져 있으며, 그렇지 않으면 참 귀무 가설의 잘못된 기각이라고도 합니다. 그것은 한 입, 그래서 나는 단순히 거짓 긍정으로 기억합니다.

입에 담거나 말거나, 이러한 유형 1 통계 오류는 생각하는 것보다 더 일반적입니다. AB 테스트 결과의 약 80%가 가상의 결과인 것으로 추정됩니다.

가양성을 기반으로 주요 결정을 내리고 있다면 기껏해야 최적화를 운에 맡기고 있는 것입니다. 최악의 경우 실제로 클릭 후 방문 페이지의 전환율을 악화시키고 있습니다.

다행히도 유독한 데이터를 퇴치할 수 있는 몇 가지 방법이 있습니다. 그 중 하나는 이미 친숙한 테스트 방법과 유사합니다.

A/A 테스트란 무엇입니까?

A/B 테스트에는 원본(귀하의 컨트롤)과 다른 버전(변형)의 두 가지 다른 페이지로 트래픽을 유도하여 어느 페이지가 더 나은 실적을 보이는지 확인합니다.

마찬가지로 A/A 테스트에는 트래픽을 두 페이지로 유도하여 어느 페이지가 더 나은 성능을 보이는지 확인하는 작업이 포함됩니다. 그러나 A/B 테스트와 달리 A/A 테스트는 두 개의 동일한 페이지를 서로 비교하며 상승도를 발견하는 대신 대조군과 유사 콘텐츠 간의 차이를 찾는 것이 목표입니다.

왜 A/A 테스트를 합니까?

우리는 "두 개의 동일한 페이지를 서로에 대해 테스트하는 것이 도대체 무엇을 성취할 수 있을까?"

어리석게 들릴지 모르지만 일부 전문 테스터가 테스트하기 전에 A/B 테스트를 테스트하는 데 사용하는 기술입니다. (뭐?)

정확한 테스트 결과에는 통계적 유의성 이상의 것이 필요합니다.

누구나 A/B 테스트를 실행할 수 있지만 유효한 A/B 테스트를 실행할 수 있는 사람은 거의 없습니다(테스트 결과의 약 20%만이 실제로 합법적임).

정확한 테스트 데이터를 생성하려면 크고 대표적인 샘플 크기로 통계적 유의성에 도달하는 것 이상이 필요합니다. 결과에 대해 확신을 가지려면 샘플이 여러 유효성 위협에 의해 오염되지 않도록 해야 합니다.

이러한 위협 중 하나인 도구 효과 는 A/A 테스트가 전투에 가장 도움이 되는 것입니다.

악기 효과란?

유효성 위협에 대한 보호는 A/B 테스트를 시작하기도 전에 시작됩니다. CXL의 Peep Laja는 기기 효과가 대부분의 테스트 결과에 영향을 미친다고 말합니다.

이것은 가장 일반적인 문제입니다. 테스트에서 결함이 있는 데이터를 유발하는 테스트 도구(또는 도구)에 문제가 발생하는 경우입니다. 이는 종종 웹사이트의 잘못된 코드 구현으로 인해 발생하며 모든 결과를 왜곡합니다.

그렇기 때문에 테스트를 설정할 때 도구가 올바르게 구성되고 제대로 작동하는지 확인하는 것이 중요합니다. 그렇지 않은 경우 다음과 같은 일반적인 문제가 발생할 수 있습니다.

• 핵심 성과 지표의 잘못된 보고. 하나의 도구에서 단 하나의 오류가 데이터를 뒤죽박죽으로 만들 수 있으므로 모든 테스트 정보를 추적하기 위해 단일 플랫폼에 의존해서는 안 됩니다. 최소한 Google Analytics와 통합하여 테스트 소프트웨어 및 웹사이트 추적에 표시되는 측정항목이 정확한지 다시 확인하십시오. 더 나은 결과를 얻으려면 다른 도구로 세 번 확인하십시오. 비교적 밀접하게 일치하지 않는 보고서를 의심하십시오.
• 클릭 후 방문 페이지 표시 문제 작은 코딩 실수는 A/B 테스트 중에 디스플레이 문제와 같은 큰 유효성 위협을 유발할 수 있습니다. 그렇기 때문에 클릭 후 방문 페이지가 모든 기기와 브라우저에서 예상대로 표시되도록 하고 방문자가 "깜박임 효과"라는 영향을 받지 않도록 하는 것이 중요합니다. 무엇보다도 느린 웹 사이트로 인해 이 문제가 발생할 수 있습니다. 이 문제는 변형 직전에 방문자에게 컨트롤이 일시적으로 표시될 때 발생합니다.
• 테스트를 너무 일찍 중지합니다. 일부 테스트 소프트웨어는 샘플 크기가 충분히 크지 않거나 대상 고객을 대표하지 않는 경우 조기에 우승 페이지를 선언합니다. 기억하십시오: 통계적 유의성에 도달 했다고 해서 테스트를 중단할 때가 된 것은 아닙니다. 더 오래 실행할수록 더 정확한 결과를 얻을 수 있습니다.

이러한 문제(및 그 이상) 중 하나는 테스트가 끝날 때 오탐지로 이어질 수 있으므로 Peep은 테스터에게 주의를 기울여야 한다고 경고합니다.

테스트를 설정할 때 매처럼 관찰하십시오. 추적하는 모든 단일 목표와 메트릭이 기록되고 있는지 확인하십시오. 일부 측정항목이 데이터를 전송하지 않는 경우(예: 장바구니 클릭 데이터에 추가) 테스트를 중지하고 문제를 찾아 수정한 다음 데이터를 재설정하여 다시 시작하십시오.

그러나 모든 사람이 즉시 A/B 테스트에 뛰어드는 것이 편안하지는 않습니다. 특히 새로운 소프트웨어를 사용할 때 그렇습니다. 따라서 추가 예방 조치로 일부 실무자는 A/B 테스트를 시작하기 전에 도구를 평가하기 위해 A/A 테스트를 수행합니다.

실험이 올바르게 설정되면 A/A 테스트가 끝날 때 두 페이지 모두 유사한 전환율로 나타나야 합니다. 그러나 다음 테스터가 보여주듯이 항상 그런 것은 아닙니다.

A/A 테스트 예시

오탐이 그렇게 흔한가요? 한 페이지가 클론보다 실제로 더 나은 성능을 낼 수 있습니까? 이 사람들은 A/A 테스트를 사용하여 다음 블로그 게시물에서 발견한 내용을 찾아 공개했습니다.

1. 홈 페이지 분할 테스트는 인기 있는 테스트 도구의 주요 단점을 보여줍니다

2012년 11월 11일 Copyhackers 팀은 아래 그림과 같이 홈페이지에서 A/A 분할 테스트를 시작했습니다.

6일 후인 18일, 그들의 테스트 도구는 95%의 신뢰도로 승자를 선언했습니다. 그러나 정확성을 위해 팀은 테스트를 하루 더 실행하기로 결정했습니다. 이 시점에서 그들의 소프트웨어는 99.6%의 신뢰 수준에서 승자를 선언했습니다.

그들의 홈페이지는 똑같은 페이지 보다 거의 24% 더 나은 성능을 보였고, 소프트웨어에 따르면 결과가 오탐일 확률은 0.4%에 불과했습니다. 그럼에도 불구하고 팀은 약 3일 동안 테스트를 더 실행했고, 그 차이는 결국 균일해졌습니다.

하지만 그게 핵심이 아닙니다. 요점은 다음과 같습니다. 테스트 도구가 너무 일찍 승자를 선언했습니다. Copyhackers 팀이 계속 실행하지 않았다면 실험에 문제가 있다고 잘못 가정했을 것입니다. 테스트에 대한 자세한 내용은 여기를 참조하십시오.

2. A/A 테스트: 아무것도 하지 않음으로써 전환율을 300% 증가시킨 방법

이 냉소적인 제목은 750,000명의 이메일 구독자를 대상으로 8개월 동안 여러 A/A 테스트를 실행한 저자이자 자칭 "빈곤층 회복" David Kadavy의 말에서 따왔습니다. 그 기간 동안 그는 다음과 같은 통계적으로 유의미한 결과를 생성했습니다.

그 결과는 다음과 같습니다.

• 이메일 열기 9% 증가
• 클릭수 300% 증가
• 구독 취소율 51% 감소

그는 말한다:

많은 구직자(저도 포함)에게 이것은 "오 와우, 오픈율이 10% 증가했습니다!"처럼 보입니다. Visual Website Optimizer의 중요도 계산기에 입력하여 p=.048임을 확인할 수도 있습니다. “통계적으로 유의미하다!” 그들은 (또는 내가) 외칠 수 있습니다.

그러나 사실은 모두 A/A 테스트였습니다. 서로 테스트한 내용은 동일했습니다. 여기에서 더 많은 결과를 확인하세요.

A/A 테스트를 실행해야 합니까?

이 질문에 대한 대답은 당신이 누구에게 묻는가에 달려 있습니다.

더 많은 수익에 해당하지 않는 큰 전환 상승도를 계속 목격한 Neil Patel은 "A/A 테스트를 먼저 실행하는 것이 정말 중요합니다. 이렇게 하면 부정확한 소프트웨어로 시간을 낭비하지 않도록 하는 데 도움이 되기 때문입니다."라고 말합니다.

반면 CXL의 Peep Laja는 A/A 테스트 자체가 시간 낭비라고 말합니다. 그래서 누가 옳습니까?

A/A 테스트의 두 가지 주요 문제

이론적인 관점에서 A/A 테스팅은 많은 의미가 있습니다. 무엇보다도 A/B 테스트를 실행할 때 정확성이 가장 중요하며 테스트 테스트는 이를 보장하는 여러 방법 중 하나일 뿐입니다.

그러나 실제 테스트 환경에서 A/A 테스트는 득보다 실이 더 많을 가능성이 있습니다. Craig Sullivan은 다음과 같이 설명합니다.

저에게 문제는 A/A 테스트 기간으로 테스트 실행 시간을 미리 로드해야 하므로 항상 실제 트래픽과 테스트 시간을 잡아먹는 것입니다. 한 달에 40번의 테스트를 실행하려고 하면 실시간으로 실행하는 능력이 손상될 것입니다. 나는 2-4주간의 A/A 테스트를 실행하여 정렬을 확인하는 것보다 실험에 대해 반나절의 QA 테스트를 하고 싶습니다.

1번 문제입니다. A/A 테스트는 A/B 테스트를 통해 웹사이트 방문자에 대해 자세히 알아보는 데 사용할 수 있는 실시간 및 트래픽 비용이 듭니다.

문제 2 는 Copyhackers의 사례 연구에 예시되어 있습니다. A/B 테스트와 마찬가지로 A/A 테스트도 가양성(false positive)에 취약하기 때문에 신중하게 설계하고 모니터링해야 합니다.

다시 말해서, A/A 테스트는 한 페이지가 다른 페이지보다 더 잘 수행되고 있음을 알려줄 수 있습니다. 그렇지 않을 때 (그 가능성은 생각보다 훨씬 높습니다 — 약 50%)

Copyhackers의 팀이 테스트 도구를 듣고 단 6일 만에 승자를 선언했다면 홈페이지가 일란성 쌍둥이보다 성능이 더 좋은 이유를 파악하는 데 훨씬 더 많은 시간을 보냈을 것입니다(실제로는 그렇지 않았을 때) .

A/A 테스트의 주요 이점

이러한 문제에도 불구하고 A/A 테스트는 실제 테스트 중에 더 큰 문제를 포착하는 데 도움이 될 가능성이 있습니다. 이러한 테스트의 결과가 중요한 비즈니스 결정의 기반이 되는 것이라면 고려해야 할 강력한 이점입니다.

A/A 테스트를 하기로 결정했다면 A/A/B 테스트라고 하는 덜 낭비적인 방법이 있습니다.

A/A/B 테스트 대 A/A 테스트

A/A 테스트의 전통적인 방법은 결론에서 방문자에 대해 아무 것도 알려주지 않기 때문에 트래픽을 낭비합니다. 그러나 해당 테스트에 "B" 변형을 추가하면 가능합니다. 둘의 차이점은 다음과 같습니다.

• A/A 테스트 = 서로에 대해 테스트된 2개의 동일한 페이지
• A/A/B 테스트 = 2개의 동일한 페이지와 1개의 변형이 서로 테스트됨

A/A/B 테스트는 트래픽을 3개의 세그먼트로 분할하므로 통계적 유의성에 도달하는 데 시간이 더 오래 걸립니다. 그러나 장점은 일단 테스트 도구와 방문자에 대한 데이터를 갖게 된다는 것입니다.

A 대 A의 결과를 비교하여 테스트를 신뢰할 수 있는지 확인하십시오. 통계적으로 유사하면 A 대 B의 결과를 비교하십시오. 그렇지 않은 경우 전체 테스트의 결과를 폐기해야 합니다(이는 실행하는 데 기존 A/A 테스트보다 시간이 더 오래 걸렸습니다). 트래픽이 세 가지 방식으로 분류되기 때문입니다.

A/A 테스트의 이점이 단점을 능가합니까?

일부 전문가는 "예"라고 말하고 다른 전문가는 "아니오"라고 말합니다. Leadplum의 Andrew First는 대답이 다음 사이 어딘가에 있다고 생각하는 것 같습니다.

A/A 테스트는 월 단위로 해서는 안 되지만 새 도구를 설정할 때 데이터를 테스트하는 데 시간을 할애할 가치가 있습니다. 지금 잘못된 데이터를 가로채면 몇 개월 후의 테스트 결과에 대해 더 확신할 수 있습니다.

결국, 그것은 당신에게 달려 있습니다. 새로운 도구를 사용하고 있다면 Andrew의 조언을 따르는 것이 현명할 수 있습니다. 그러나 그렇지 않다면 Craig Sullivan의 지시를 따르고 대신 엄격한 사전 테스트 QA 프로세스를 설정하는 것이 가장 좋습니다. A/B 테스트를 위해 시간, 리소스 및 트래픽을 절약하십시오.

테스트 노력과 디지털 광고 캠페인을 최대한 활용하고 지금 Instapage Enterprise 데모에 등록하십시오.