6 mitów dotyczących testów A/B: jak te mity mieszają się z wynikami

Testy A/B to świetna zabawa. Jest popularny. Robi się coraz łatwiej.

Jeśli jednak źle wykonujesz testy A/B, nadal możesz marnować mnóstwo czasu i zasobów.

Mimo rosnącej wszechobecności testów A/B, wciąż istnieje wiele mitów na ten temat, z których niektóre są dość powszechne. Aby naprawdę czerpać wartość z dowolnej techniki, ważne jest, aby zrozumieć, czym jest — w tym jej ograniczenia i zrozumienie, gdzie jest potężna.

W tym artykule przedstawię najważniejsze mity, które wielokrotnie powtarzały się na blogach i przez konsultantów.

1. Testy A/B i optymalizacja to to samo

Może się to wydawać nieco skomplikowane, ale same testy A/B nie zwiększają konwersji. Wiele artykułów mówi coś w stylu „przeprowadź testy A/B w celu zwiększenia konwersji”, ale jest to semantycznie niedokładne.

Testy A/B, zwane inaczej „eksperymentem kontrolowanym online”, to podsumowująca metoda badawcza, która na podstawie twardych danych informuje, w jaki sposób zmiany wprowadzane w interfejsie wpływają na kluczowe wskaźniki.

Co to oznacza w kategoriach nieakademickich? Testy A/B są częścią optymalizacji, ale optymalizacja obejmuje szerszy zakres technik niż tylko aspekt eksperymentowania.

Jak ujął to Justin Rondeau, dyrektor ds. optymalizacji w Digital Marketer: „Optymalizacja współczynnika konwersji to proces, który wykorzystuje analizę danych i badania, aby poprawić wrażenia klientów i wycisnąć jak najwięcej konwersji z Twojej witryny”.

Optymalizacja tak naprawdę polega na walidacji uczenia się. Równoważysz problem związany z eksploracją/eksploatacją (poszukiwanie, aby znaleźć to, co działa, i wykorzystywanie tego dla zysku, gdy to robisz), gdy szukasz optymalnej ścieżki do wzrostu zysków.

2. Powinieneś wszystko przetestować

Czytałem forum na temat CRO, na którym ktoś zapytał o dobór konkretnego słowa w nagłówku (myślę, że było „niesamowite” lub coś takiego) i zastanawiał się, czy nie jest nadużywane.

„Ekspert” wtrącił się z radą (parafrazując tutaj), której nigdy nie będziesz mieć pewności, dopóki nie przetestujesz każdego podobnego słowa („fascynujące”, „niesamowite”, „cudowne” itp.)

To głupia rada dla 99,95% ludzi.

Wszyscy słyszeli historię o tym, jak Google przetestowało 41 odcieni niebieskiego. Podobnie jest całkiem jasne, że strona taka jak Facebook czy Amazon teoretycznie ma ruch, aby przeprowadzić takie testy.

Ale jeśli prowadzisz małą lub średnią witrynę e-commerce (lub SaaS lub cokolwiek), nawet jeśli jesteś częścią bardzo dużej firmy, prawie zawsze jest to strata czasu, zasobów i ruchu na przeprowadzanie takich testów.

Dlaczego możesz zapytać? Ponieważ priorytetyzacja jest kluczowa.

Każdy może spojrzeć na witrynę i zobaczyć dziesiątki losowych rzeczy, które mógłby zmienić, gdyby chciał (czy to na podstawie danych, czy nie). Ale gdzie jest w tym efektywność?

W najlepszym razie marnujesz ruch na rzeczy, które nie mają znaczenia, a jeśli to zrobisz, będziesz konsekwentnie uzyskiwać niejednoznaczne wyniki (powodzenia w ciągłym wsparciu interesariuszy, jeśli tak jest).

W każdym razie jednak stoisz w obliczu ogromnego kosztu alternatywnego: ponieważ marnujesz czas i zasoby na rzeczy, które nie mają znaczenia, jesteś wykluczony z wdrażania zmian, które zasadniczo zmieniają i poprawiają wrażenia użytkownika. Rzeczy, które robią prawdziwą różnicę (i zarabiają prawdziwe pieniądze).

3. Każdy powinien testować A/B

Testy A/B są niezwykle wydajne i przydatne. Nikt nie będzie się temu (inteligentnie) spierał.

Ale to nie znaczy, że każdy powinien to robić.

Z grubsza mówiąc, jeśli masz mniej niż 1000 transakcji (zakupy, rejestracje, potencjalni klienci itp.) miesięcznie — lepiej będzie, jeśli włożysz swój wysiłek w inne rzeczy. Być może ujdzie ci na sucho przeprowadzanie testów około 500 transakcji przez miesiące — ale będziesz potrzebować dużych wzrostów, aby zobaczyć efekt.

Wiele mikrofirm, startupów i małych firm po prostu nie ma takiej liczby transakcji (jeszcze).

Trzeba też pamiętać o kosztach. Wszystkie, nie tylko koszt oprogramowania optymalizacyjnego, takiego jak Optimizely. Rzeczy jak:

• Badania konwersji. Musisz dowiedzieć się, co przetestować (jak wspomniano powyżej).
• Projektowanie obróbki (wireframing, prototypowanie itp.).
• Kodowanie testu.
• Kontrola jakości.

Załóżmy teraz, że uzyskujesz wzrost o 8% i jest to ważny zwycięzca. Miałeś 125 leadów tygodniowo, a teraz masz 135/tydzień. Czy istnieje ROI? Może — to zależy od Twojej wartości leada. Musisz jednak wziąć pod uwagę czas, zasoby, a co najważniejsze, koszty alternatywne swoich działań.

Tak więc, gdy obliczysz potrzebne rozmiary próbek przed uruchomieniem testu, wykonaj również obliczenia dotyczące ROI. Jaka byłaby wartość wzrostu X% w rzeczywistych dolarach?

Czas to cenny zasób. Może lepiej spędzić go gdzie indziej niż na testach A/B, gdy jesteś jeszcze mały — z powodu matematyki.

4. Zmieniaj tylko jeden element na test A/B

Jest to prawdopodobnie najczęściej przekazywany mit. Intencje są dobre, ale to błędna przesłanka.

Oto rada: Dokonuj tylko jednej zmiany na test, aby wiedzieć, co tak naprawdę robi różnicę.

Na przykład, jeśli zmienisz nagłówek, dodasz dowód społeczny, zmienisz tekst i kolor wezwania do działania, a uzyskasz wzrost o 25%, jak możesz stwierdzić, co spowodowało zmianę?

To prawda; naprawdę nie możesz. Ale pozwól mi też zapytać (i jest to szczególnie wskazane w przypadku tych, którzy nie mają luksusu witryn o dużym natężeniu ruchu), czy naprawdę Cię to obchodzi?

W idealnym świecie, w szczególności, składającym się z iteracyjnych zmian, które opierają się na sobie nawzajem, tak, testowanie jednej rzeczy naraz ogranicza szum w teście i pozwala zrozumieć, co dokładnie spowodowało zmianę.

Ponadto musisz zdefiniować swoją Najmniejszą Sensowną Jednostkę (SMU) i tutaj sprawy stają się nieco podstępne. Dobrze ujął to Matt Gershoff, dyrektor generalny Conductrics, mówiąc:

„Aby doprowadzić logikę do skrajności, możesz argumentować, że zmiana nagłówka oznacza wprowadzanie wielu zmian, ponieważ zmieniasz więcej niż jedno słowo na raz.

Więc to zależy od tego, co chcesz zrobić. Czy zależy Ci na sformułowaniu CTA i naprawdę chcesz wiedzieć, czy spowodowało zmianę, czy nie? Czy radykalnie zmieniasz swoją stronę? Twoja strona?

SMU zależy od twoich celów i zaufaj mi, w prawdziwym świecie żaden analityk ani specjalista od optymalizacji nie krzyczy „tylko jedna zmiana na test!”

Jak Pan Rondeau wskazał w tym poście, jaką jedną rzecz byś zmienił na tej stronie (na zdjęciu poniżej – nawiasem mówiąc, jest to stara wersja strony)?

Załóżmy nawet, że ta witryna ma mnóstwo ruchu i możesz przeprowadzić około ośmiu ważnych testów miesięcznie. Jeśli robisz jeden element na raz, od czego zacząć? Przetestowanie obrazu tła, koloru czcionki, rozmiaru czcionki, logo u góry, miniatur nawigacji, lokalizacji, rozmiaru, kolejności, kopii, kopii ciała, ruchomych sprzedawców itp. zajęłoby ci wieki.

Chodzi mi o to: nie bój się łączyć wielu zmian w tym samym teście.

5. Testy A/B są lepsze (lub gorsze) niż bandyci/MVT/itd.

Od czasu do czasu pojawiają się artykuły, w których zaleca się „unikać wielowymiarowości (MVT)”, ponieważ są one skomplikowane i nie dają wygranych lub że bandyci są nieefektywni w porównaniu z testami A/B – lub że są bardziej wydajny — czy cokolwiek.

Dobrą praktyczną zasadą w życiu jest to, że jeśli masz do czynienia z dychotomią, sytuacją „ ta kontra tamta” , prawdopodobnie jesteś ustawiony. To prawdopodobnie fałszywa dychotomia.

Prawda jest taka, że ​​testy A/B są lepsze w niektórych sytuacjach, podczas gdy MVT jest najlepszym wyborem w innych. To samo z bandytami i algorytmami adaptacyjnymi.

6. Zatrzymaj test A/B, gdy osiągnie on istotność

Chociaż nie będę zbyt szczegółowo omawiał statystyk (w tym poście możesz przeczytać wszystko, co musisz wiedzieć), powiedzenie „przestań na znaczeniu statystycznym” jest błędne, głównie ze względu na charakter środowiska online.

Szkoda, że ​​ten mit jest powszechny, a wiedza statystyczna w świecie marketingu jest zaskakująco ograniczona.

Często zdarza się również, że narzędzie testujące powie, że zbyt wcześnie osiągnąłeś znaczenie. Więc nie pokładaj całej swojej wiary w tym 95% znaczeniu.

Najpierw oblicz wstępnie wielkość próbki i czas trwania testu. Następnie uruchom test tak długo. Testuj także przez całe tygodnie (rozpoczyna się w poniedziałek? kończy się w poniedziałek). Ponadto zaleca się przeprowadzenie testu w wielu cyklach biznesowych, aby uwzględnić dane niestacjonarne (dane, które nie pozostają takie same w czasie). Na przykład duża wyprzedaż w ciągu tygodnia lub gwałtowny wzrost PR mogą znacznie zepsuć Twoje dane. Nawet różne dni mają wielokrotnie różne współczynniki konwersji. Może masz współczynnik konwersji 3% we wtorki, ale współczynnik konwersji 1,5% w soboty, a może ta różnica zniweczy twoją analizę post-testową.

Testuj więc przez całe tygodnie, aby uwzględnić te przypływy i odpływy. W CXL zalecamy przeprowadzenie testu przez 3-4 tygodnie.

Następnie rozważ istotność statystyczną wynoszącą co najmniej 95%.

Wniosek

Testy A/B są niezwykle wydajne. Jest to potężny środek odstraszający od podejmowania decyzji w oparciu o przeczucie i pokazuje, jakie dane mówią, że powinieneś zamiast tego zrobić.

Testy A/B pozwalają ustalić, która strona po kliknięciu przynosi najwięcej konwersji. Dowiedz się, jak zapewnić personalizację reklam 1:1 dla wszystkich swoich odbiorców dzięki demonstracji personalizacji Instapage już dziś.