Najlepsze praktyki w celu ustanowienia jednego źródła prawdy (SSOT) dla testów A/B

Twoje testy CX żyją lub umierają na jakości Twoich danych. Nie możesz formułować poprawnych, sprawdzalnych hipotez na podstawie wątpliwych danych. Nie możesz ufać wynikom swoich testów, jeśli nie wiesz, że patrzysz na dokładne dane.

Dlatego musisz zbudować swój program testowy wokół zestawu danych Single Source of Truth (SSOT). Jeśli nie możesz, nawet najprostszy test A/B nie będzie miał wartości. W tym artykule wyjaśniamy, dlaczego ustanowienie SSOT jest tak ważne, i dzielimy się niektórymi sprawdzonymi w praktyce najlepszymi praktykami, które opracowaliśmy w tym celu w Kameleoon.

Co to jest SSOT

Nowoczesne podejmowanie decyzji biznesowych musi być oparte na danych. Utrzymanie SSOT oznacza, że ​​w przypadku eksperymentów CX lub jakiejkolwiek innej funkcji, standaryzujesz jedno źródło danych jako ostateczną „prawdę”, wokół której prowadzisz pracę tego zespołu i podejmujesz decyzje w firmie.

Bez SSOT ryzykujesz fragmentację danych do silosów strzeżonych przez różne zespoły dla różnych funkcji. Nie ma standaryzacji, konsensusu ani możliwości sprawdzenia, czy ktoś podejmuje decyzje w oparciu o najlepsze dostępne informacje.

SSOT nie jest konkretną technologią ani systemem. To praktyka biznesowa mająca na celu uzyskanie optymalnych wyników z działań Twojego zespołu. Niektóre firmy zaoszczędziły miliony, przechodząc na strategię dotyczącą danych SSOT, nawet nie dotykając podstawowej pracy.

Badania wykazały, że wysokiej jakości metryki zachowań klientów pozostają najbardziej poszukiwanymi danymi do podejmowania strategicznych decyzji. Przez kilka lat z rzędu, w corocznej ankiecie dla CEO PricewaterhouseCoopers, dyrektorzy generalni oceniają ten wskaźnik jako najważniejszy wskaźnik, jakiego chcą w planowaniu strategicznym.

Co to są testy A/B

Testy A/B to metoda eksperymentowania ze stronami internetowymi, aplikacjami mobilnymi lub reklamami poprzez porównanie wydajności oryginalnej wersji — wersji A lub kontrolnej — ze zmodyfikowaną wersją B. Celem jest zebranie danych o wydajności dla każdego z nich, przeprowadzenie analiz statystycznych i określenie na podstawie danych, która wersja sprawdziła się najlepiej.
Testy A/B sprawdzają się nie tylko w przypadku pojedynczych elementów strony internetowej. Możesz na przykład użyć go do optymalizacji cen, weryfikacji funkcji produktu i personalizacji stron internetowych do różnych segmentów odwiedzających. Ponadto testy A/B są podstawą wielu innych technik optymalizacji CX, w tym testów na wielu odmianach, rekomendacji produktów i kierowania na podstawie profilu.

Kto potrzebuje SSOT do swoich testów?

Zespoły eksperymentalne przepływają przez dane generowane na ich platformach analitycznych, CRM, platformach testowych i innych. Muszą ustanowić SSOT do testowania, aby wyjaśnić, co chcą robić ich zespoły. Rozważmy przykład.

Jeden z klientów Kameleoon rozpoczął kampanię optymalizacji funkcji wyszukiwania na swojej stronie internetowej. Przeprowadzili testy po stronie serwera, które obejmowały śledzenie ruchu na stronie dostępowej.

Jednak napotkali problem, z którym boryka się wiele programów eksperymentujących: dane w Google Analytics wskazywały jedną liczbę odwiedzin strony, a ich narzędzie do eksperymentów wskazywało inną. Różnica wyniosła ponad 9 proc.

Będąc witryną e-commerce z ponad milionem odwiedzających miesięcznie, decyzja o tym, któremu zestawowi danych zaufać, miała duży wpływ na raportowanie KPI firmy. Podczas gdy niektóre średnie i korporacyjne marki mogą ignorować rozbieżności do 10 procent w statystykach odwiedzających, 9-procentowa rozbieżność danych sprawiła, że ​​zespół eksperymentalny tej firmy był nerwowy.

Ten zespół dopiero niedawno uzyskał poparcie dla swojego programu eksperymentalnego, w tym budżetu na inwestycje w narzędzia takie jak Kameleoon. Liczyli na testy z jasnymi wnioskami. Zamiast tego dokładność ich danych była wątpliwa. Musieli założyć SSOT.

Pomogliśmy tej firmie oczyścić śledzenie danych odwiedzających, ustanowić SSOT i uzyskać wyniki testów, których potrzebowali do rozwoju. W tym celu pomogliśmy im wdrożyć siedem najlepszych praktyk SSOT. Dzielimy się tutaj tymi najlepszymi praktykami, ponieważ każdy zespół CX, który chce skłócić swoje dane testowe i jak najlepiej wykorzystać swój program eksperymentów, może je wykorzystać do rozwoju.

Najlepsze praktyki w zakresie eliminowania rozbieżności danych testowych i ustanawiania SSOT

1. Zanim zrobisz cokolwiek innego, przeprowadź test A/A

Podczas gdy test A/B porównuje starą i nową wersję Twojego produktu lub strony, test A/A porównuje podobne z podobnymi. Dlaczego chcesz to zrobić? Możesz więc porównać dane generowane przez każdą platformę monitorującą.

W teście A/A obie odmiany są takie same, ale użytkownicy, którzy je zobaczą, będą się różnić:

Jak podjąć działanie

Zanim przeprowadzisz jakiekolwiek poważne testy A/B lub wdrożysz nową implementację, w której będziesz chciał zebrać dane, przeprowadź test A/A, aby przeprowadzić kalibrację. W idealnym świecie Twój test A/A zwróci identyczne wyniki. W rzeczywistości rzadko się to zdarza, ale nadal dowiesz się, z jaką rozbieżnością masz do czynienia.

Na przykład przeprowadzenie testu A/A pozwala zobaczyć, jakie dane Google Analytics porównuje z narzędziem testowym w tych samych sesjach, użytkownikach, wizytach, konwersjach lub innych danych, które chcesz mierzyć.

2. Śledź odwiedzających i wizyty w ten sam sposób we wszystkich swoich narzędziach

Liczba odwiedzających lub wizyt śledzonych przez narzędzia analityczne nigdy nie będzie dokładnie odpowiadać użytkownikom i sesjam. Możesz jednak upewnić się, że wizyty są liczone w ten sam sposób na platformach analitycznych i A/B, aby zmniejszyć rozbieżność.

W Google Analytics istnieją dwa sposoby zakończenia wizyty:

• Wygaśnięcie na podstawie czasu: tutaj sesja wygasa po 30 minutach bezczynności lub o północy. Podczas gdy na przykład w Kameleoon jest to po 30 minutach bezczynności.

• Zmiana kampanii : jeśli ten sam użytkownik przybędzie za pośrednictwem jednej kampanii, wyjdzie po 2 minutach, a następnie wróci za pośrednictwem innej kampanii 2 minuty później, Google Analytics policzy dwie wizyty. Niektóre narzędzia do testowania A/B uznają to za jedno.

Jak podjąć działanie

Sprawdź, w jaki sposób użytkownicy i wizyty są liczone w Twoim narzędziu analitycznym i upewnij się, że jest to takie samo dla Twojego narzędzia testowego. Albo że możesz to zmienić. W Kameleoon zalecamy korzystanie z platformy analitycznej jako jedynego źródła prawdy.

W GA możesz edytować czas do przekroczenia limitu czasu sesji i kampanii w Ustawieniach sesji.

Czemu? SSOT należy zdefiniować na poziomie organizacyjnym. Więc nawet jeśli Twój zespół testowy spędza cały dzień na pracy z danymi na Twojej platformie testowej, inne zespoły mogą nadal potrzebować odwoływania się do danych z GA do innych celów. Ustaw SSOT tak, aby był zbiorem danych, do którego odwołuje się najszerszy zakres zespołów w Twojej organizacji.

3. Utwórz filtry przeglądarki i wersji w swoim narzędziu analitycznym

Wiele platform testów A/B nie działa w przeglądarce Internet Explorer, więc wszelkie wizyty w tej przeglądarce są automatycznie wykluczane z raportów eksperymentów. Jednak IE może nadal powodować rozbieżności w danych, jeśli kierujesz je do dużych, starszych organizacji, które z niego korzystają.

Innym potencjalnym problemem związanym ze śledzeniem jest to, że Google Analytics jest zgodny ze wszystkimi wersjami przeglądarek, podczas gdy narzędzia do testowania A/B zwykle zachowują pełną zgodność tylko z kilkoma ostatnimi wersjami.

Jak podjąć działanie

W Google Analytics utwórz niestandardowe filtry na podstawie przeglądarek i wersji przeglądarek, na których Ci zależy, aby wszystkie platformy pasowały do ​​siebie. Robisz to w

Na przykład w obszarze Widok można wykluczyć starszą wersję przeglądarki Google Chrome:

4. Filtruj problematyczny ruch we wszystkich swoich narzędziach

Utrzymuj zestaw danych SSOT tak czysty, jak to możliwe, zbierając dane tylko od legalnych członków odbiorców. Nie chcesz zamulać swoich danych botami, trollami, błędami śledzącymi lub innym odstającym ruchem. Nie martw się o zmniejszenie głośności, jakość Twoich wyników wzrośnie.

Jak podjąć działanie

Zaawansowane narzędzia do testowania A/B oferują kilka gotowych ustawień filtrowania botów. Na przykład mogą automatycznie usuwać ruch z zebranych statystyk, jeśli wykryją zachowanie odstające lub jeśli sesja wejdzie w stan podejrzanej aktywności.

Z drugiej strony, jeśli korzystasz z GA, to do Ciebie należy decyzja, jak wykrywać i wykluczać ruch generowany przez boty z danych analitycznych za pomocą filtrów. Dla porównania, oto kilka warunków, które możesz chcieć wykluczyć.

• Czas trwania wizyty > 120 minut
• Czas trwania wizyty < 100 milisekund
• Liczba zdarzeń (konwersje, kliknięcia, targetowanie, produkt, odsłona strony itp.) > 10 tys.

Chcesz też wykluczyć ruch wewnętrzny z organizacji. Pamiętaj, że celem budowania tego zestawu danych SSOT jest posiadanie ostatecznego źródła danych o rzeczywistych klientach, a nie o współpracownikach.

Aby odfiltrować ruch wewnętrzny w GA, przejdź do panelu administracyjnego > Wszystkie filtry i utwórz nowy filtr. Ustaw typ filtra na „nieokreślony”. Następnie dodaj wewnętrzne zakresy adresów IP, które chcesz wykluczyć.

5. Unikaj programów blokujących reklamy

Wielu odwiedzających korzysta z programów blokujących reklamy, takich jak Adblock, Ghostery i uBlock. Niektóre adblockery mogą również blokować moduły śledzące po stronie klienta, w tym zdarzenia analityczne z narzędzi eksperymentalnych.

Jeśli znaczna część odwiedzających ma włączone blokowanie reklam w swojej przeglądarce, istnieje duże prawdopodobieństwo, że liczba zarejestrowanych wizyt będzie się różnić w zależności od narzędzia do testowania A/B i platformy analitycznej.

Jak podjąć działanie

Niektóre platformy mogą udostępniać „lokalne” adresy URL żądań śledzenia, które pozwalają im uniknąć blokowania przez programy blokujące reklamy. Tutaj śledzenie odbywa się po stronie serwera, więc blokowanie kodu po stronie klienta, na przykład z adblockera, nie zatrzymuje legalnego śledzenia. Aktywuj go na wszystkich możliwych platformach.

Innym sposobem lepszego zrozumienia rozbieżności między platformami analitycznymi i testowymi jest wysłanie zdarzenia do platformy analitycznej po załadowaniu narzędzia testowego. Powinno to dać jasny obraz odsetka odwiedzających korzystających z programów do blokowania reklam, które blokują narzędzie do testowania A/B. Następnie będziesz musiał filtrować ruch, aby wykluczyć odwiedzających za pomocą programów blokujących reklamy.

6. Zainstaluj swoje narzędzia na wszystkich tych samych stronach

Umieszczanie fragmentu kodu jest częstą główną przyczyną rozbieżności danych, zwłaszcza jeśli chcesz przeprowadzić eksperyment, który jest kierowany na całą witrynę. Powodem jest to, że wiele narzędzi do eksperymentowania traktuje „całą witrynę” jako wszystkie strony zawierające fragment kodu. Niestety, może to nawet obejmować Twoją witrynę testową, jeśli masz tam skopiowane fragmenty.

Jak podjąć działanie

Jeśli jeszcze tego nie zrobiłeś, teraz jest świetny czas na przeprowadzenie testu A/A w celu skalibrowania platform. Następnie upewnij się, że wszystkie Twoje narzędzia są zaimplementowane na tych samych stronach.

Jednym ze sposobów sprawdzenia, czy nie, jest rozbicie danych według adresów URL odwiedzanych stron. Spowoduje to wyświetlenie wszystkich głównych adresów URL, w których przeprowadzono eksperyment, dzięki czemu można zidentyfikować te, do których narzędzie testowe nie powinno zostać załadowane. Oto jak ta opcja wygląda w Kameleoon:

Końcowe przemyślenia

Po dokładnej analizie firma Kameleoon ustaliła, że ​​klient z rozbieżnością danych napotkał ten ostatni problem. Google Analytics i ich narzędzie testowe nie działały na tych samych stronach.

Podczas gdy GA śledziło cały ruch przechodzący na stronę wyników wyszukiwania, skonfigurowało swoje narzędzie testowe z węższym parametrem – w eksperymencie wizyty na stronie dostępu były liczone dopiero po wyszukiwaniu w pasku wyszukiwania.

Chociaż obie strony wyglądały tak samo, adresy URL były różne, co powodowało rozbieżność danych. Jednak po rozwiązaniu problemu dysponowały niezawodnym SSOT do testowania danych i miały generować wiele cennych informacji.

Rozpoznając, gdzie standardowe ustawienia w Twoim narzędziu testowym nie są zgodne ze śledzeniem analiz, możesz zdecydować, jaką liczbę odwiedzających zgłosić lub jak użyć ustawień, aby zminimalizować różnicę.

Wyeliminuj rozbieżności, ustal jedno źródło prawdy i zbierz swoje zespoły wokół jednego wspólnego zestawu danych. Ustanowienie SSOT to pierwszy krok do lepszego, bardziej niezawodnego i bardziej wnikliwego testowania.