Jak analizować wyniki testów A/B za pomocą analizy testów A/B

Ostatnią rzeczą, jakiej ktokolwiek chce, jest fałszywy wynik dodatni — niezależnie od testu! Dzięki optymalizacji współczynnika konwersji (CRO) fałszywy alarm może prowadzić do ślepego zaułka.

Gdy przeprowadzasz test A/B , chcesz wiedzieć, czy Twoja strona testowa (B) rzeczywiście przewyższyła stronę kontrolną (A), zanim poświęcisz czas na poprawianie formularzy, stron lub innych aspektów witryny.

Technika analizy testów A/B pomoże ustalić, czy Twój test był istotny statystycznie i czy masz na swoim koncie zwycięski zestaw danych.

Skąd wiesz, czy Twój test A/B był istotny statystycznie?

Istotność statystyczna oznacza, że ​​możesz powtórzyć test i stale otrzymywać takie same — lub podobne — wyniki.

Załóżmy na przykład, że zmieniłeś położenie przycisku wezwania do działania (CTA). Przycisk znajdował się kiedyś pod treścią strony docelowej, ale założyłeś, że uzyskasz więcej potencjalnych klientów, jeśli umieścisz go z przodu i na środku. Więc poprawiłeś stronę i umieściłeś przycisk nad głównym nagłówkiem.

Następnie przetestowałeś poprzednią stronę docelową — stronę kontrolną — na 1000 odwiedzających. Stamtąd przetestowałeś poprawioną stronę na kolejnych 1000 odwiedzających. Po zmierzeniu wyników za pomocą kalkulatora testu A/B wykazał on 25% wzrost liczby kliknięć przycisku CTA po przeniesieniu go w górę na stronie.

Jeśli powtórzysz test więcej niż raz i nadal uzyskasz około 25% wzrost liczby kliknięć, możesz rozsądnie założyć, że Twoje wyniki są istotne statystycznie. Możesz również założyć, że przyczyną zmiany było zmienione położenie przycisku CTA.

Jak analizujesz swój test A/B?

Chociaż kalkulatory A/B nie są ostatecznym narzędziem do analizy testów A/B, pomagają zrozumieć zbierane dane.

Załóżmy, że jesteś właścicielem małej firmy. Twoja średnia liczba odwiedzających witrynę waha się od 100 do 500 użytkowników tygodniowo. Przeprowadziłeś podobny test A/B przycisku CTA na stronie docelowej — ale na próbie 100 osób zamiast 1000.

Z Twoich wyników wynika, że ​​50 na 100 osób kliknęło przycisk CTA prowadzący do strony oryginalnej. Na stronie testowej 58 osób kliknęło w przycisk. Chociaż ten wzrost może wydawać się znaczący dla wielkości próby, według kalkulatora A/B jest to zaledwie 16% zmiana.

Co należy zrobić przed przeprowadzeniem testu A/B?

Zanim zaczniemy z naszym przykładowym scenariuszem, oto podsumowanie tego, co należy zrobić przed zebraniem jakichkolwiek danych.

1. Poznaj swoje cele

Jakie są Twoje kluczowe wskaźniki wydajności (KPI)? Innymi słowy, jakie rozmowy przynoszą najbardziej znaczące wyniki dla Twojej firmy? Wskaźniki te mogą dotyczyć wszystkiego, od wielkości sprzedaży po utrzymanie klientów. Skoncentrowanie się na zmianach ukierunkowanych na Twoje KPI zapewni najlepsze wyniki.

2. Wiedz, gdzie jesteś — i dokąd chcesz się udać

Gdy już wiesz, co chcesz mierzyć, dowiedz się, gdzie obecnie się znajdujesz. Możesz już mieć ogólne pojęcie, czy mierzyłeś kliknięcia reklam, liczbę otwieranych wiadomości e-mail lub liczbę potencjalnych klientów wypełniających formularz kontaktowy miesięcznie.

Przyjrzyj się swojemu CRM i Google Analytics , aby zmierzyć dane w ich obecnym stanie. Bieżące dane powinny dać wyobrażenie o tym, które ulepszenia są konieczne i realistyczne.

Jak sprawdzić, czy Twój test jest statystycznie istotny (bez użycia kalkulatora A/B)

Przejdźmy teraz do najprzyjemniejszej części — analizy testów A/B. Po wykonaniu powyższych kroków, oprócz przeprowadzenia prób i zebrania danych, możesz określić, czy wyniki są wystarczająco istotne, aby wprowadzić zmiany.

Dobrą wiadomością jest to, że nadal możesz używać kalkulatora A/B jako punktu wyjścia. Spośród 100 odwiedzających witrynę małej firmy, o której mówiliśmy wcześniej, nastąpił 16% wzrost kliknięć z powodu przesunięcia umiejscowienia przycisku CTA — rzekomo. Skąd mamy wiedzieć, czy to prawda?

1. Ponownie uruchom test

Za każdym razem, gdy przeprowadzasz test A/B, jeśli zmiana nie jest znacząca, będziesz chciał powtórzyć test — na przykład, jeśli wyniki są niższe niż 36% różnicy w wynikach.

Ogólnie rzecz biorąc, najlepiej jest ponownie przeprowadzić testy A/B, aby mieć wystarczającą ilość danych, aby stwierdzić, że wynik był bezpośrednim wynikiem wprowadzonej zmiany.

2. Ponownie przeanalizuj dane

Załóżmy, że po tym powtórzeniu wynik był taki, że 60 osób na 100 kliknęło przycisk wezwania do działania na stronie testowej, a 52 kliknęło stronę oryginalną. Według kalkulatora to wzrost o 15,38%.

3. Uruchom test jeszcze raz (i przeanalizuj wyniki)

Wynik ten jest podobny do zmiany o 15 – 16% za trzecim razem. Zanim jednak przejdziesz do wdrożenia zmian, jeszcze raz przetestuj swoje wyniki.

Kiedy pracujesz z mniejszą próbką, trudno jest stwierdzić, czy stała zmiana jest przypadkiem, czy nie. Zazwyczaj im większy rozmiar próby, tym większa moc statystyczna.

4. Przeprowadź kolejny test A/B — porównaj swoją stronę kontrolną z samą sobą

Z technicznego punktu widzenia taka ocena byłaby uważana za test A/A. Przetestuj swoją stronę kontrolną na jednym zestawie 100 odwiedzających i przetestuj tę samą stronę na innym zestawie 100 odwiedzających. Możesz to zrobić przed lub po przetestowaniu zmiany.

Naturalna różnica w kliknięciach wezwania do działania bez wprowadzonych zmian nie powinna przekraczać różnicy 2%. Ten zakres uwzględnia naturalną fluktuację liczby kliknięć uzyskiwanych przez Twoją stronę. Wszelkie zmiany wykraczające poza ten zakres można rozsądnie uznać za znaczące.

Teraz, gdy masz wystarczającą ilość danych, nadszedł czas, aby sprawdzić, czy sprawdza trzy pola. Określ, czy dane są:

• Wystarczające: Tak, przeprowadziliśmy test trzy razy.
• Konsekwentny: Tak, trzykrotnie uzyskaliśmy podobny wynik.
• Zróżnicowane: Tak, przetestowaliśmy naszą stronę kontrolną i zauważyliśmy, że naturalne zmiany spadły między -2 a 2% — co oznacza, że ​​nasz stały wzrost liczby kliknięć na naszej stronie testowej o 15% był znaczący.

Na podstawie tych wyników możemy określić, że dane są istotne statystycznie. Możemy też rozsądnie założyć, że przyczyną wzrostu kliknięć była zmiana umiejscowienia przycisku CTA.

WebFX to zaufany partner biznesowy.

Posłuchaj HydroWorx, który odnotował 236% wzrost liczby sesji organicznych z usługami WebFX.

Obejrzyj relację wideo

Współpracuj z WebFX w zakresie analizy testów A/B

Jak widać, analiza testów A/B może być trudnym zadaniem, zwłaszcza jeśli nie masz pewności, jakie zmiany przyniosą najlepsze wyniki. Nasz zespół ponad 500 ekspertów merytorycznych w WebFX wykorzystuje strategie SEO oparte na danych, aby tworzyć skuteczne strony docelowe za pomocą naszych usług testów A/B. Osiągnęliśmy dla naszych klientów ponad 3 miliardy dolarów przychodów i jesteśmy gotowi przenieść Twoją stronę docelową na wyższy poziom.

Skontaktuj się z nami online lub zadzwoń pod numer 888-601-5359 , aby porozmawiać ze strategiem już dziś!