5 способов провести A / B-тестирование при низкой посещаемости сайта

Актер Морис Шевалье однажды мудро сказал: «Если вы дождетесь идеального момента, когда все будет в безопасности, он может никогда не наступить. Невозможно взобраться на горы, выиграть скачки или достичь прочного счастья ».

«… Не было завершено много A / B-тестов», - добавляем мы.

При сплит-тестировании никогда не бывает «идеального» времени для объявления выигрышного варианта. Конечно, вы можете утверждать, что момент наступает, когда тест выполняется достаточно долго, чтобы достичь статистической значимости, но даже в этом случае вы не можете быть уверены, что ваши результаты полностью точны.

Поэтому, когда даже крупные игроки, у которых есть доступ к огромным объемам трафика, необходимого для достижения статистической значимости, не могут быть на 100% уверены в своих результатах, как вы должны своевременно получать релевантную информацию от вашего A / B тесты?

Сложность достижения статистической значимости

В тестировании A / B, статистическая значимость , что говорит вам , является ли ваш вариант на самом деле лучше или хуже , чем оригинал. Он измеряется в процентах.

При уровне статистической значимости 50% вы можете быть уверены только на 50% в точности результатов теста. К вашему сведению, 50% неприемлемо для любой профессии. Ни 75%. Ни 85%. Так что же?

«Обычно тесты выполняются со статистической значимостью 90%», - говорит Optimizely, но Пип Лаха из CXL с этим не согласен:

"Не достаточно хорош. Вы проводите здесь научный эксперимент. Да, вы хотите, чтобы это было правдой. Вы хотите, чтобы выиграли эти 90%, но более важным, чем «объявленный победитель», является выяснение правды ».

Далее он добавляет: «Вы не должны вызывать тесты, пока не достигнете 95% или выше. 95% означает, что вероятность того, что результаты - чистая случайность, составляет всего 5% ».

Итак, помимо 95% уровня значимости, что вам нужно, чтобы убедиться, что вы настроили свой тест на получение точных результатов?

• Базовый коэффициент конверсии. Каков текущий коэффициент конверсии вашей контрольной страницы?
• Минимально заметный эффект. Относительное изменение коэффициента конверсии, которое вы хотите измерить в своем тесте.
• Движение. Основываясь на вашем уровне статистической значимости, минимальном обнаруживаемом эффекте и базовом коэффициенте конверсии, вы можете определить, сколько посетителей требуется каждому из ваших вариантов для получения результатов, на основании которых вы можете сделать точные выводы.

Например, предположим, что базовый коэффициент конверсии вашей контрольной страницы составляет 5%. Вы и ваша команда решаете, что хотите с уверенностью сказать, что корректировка коэффициента конверсии на 10% обусловлена ​​вашим изменением, а не случайностью. И вы хотите, чтобы была только 5% -ная вероятность того, что ваш тест - случайность, поэтому вы проводите тестирование на уровне значимости 95%.

Если мы подставим эти числа в калькулятор размера выборки Optimizely, мы получим следующее:

Итак, если вы тестируете две страницы друг против друга, каждая должна иметь размер выборки 31 000 посетителей. Для большинства предприятий это довольно большое число.

Опрос клиентов HubSpot несколько лет назад показал, что среднее количество уникальных посетителей в неделю для малых предприятий следующее:

Даже если вы входите в самую большую группу на этом графике и включаете в тест ВСЕХ ежедневных посетителей, вам понадобится 85 дней, чтобы достичь статистической значимости. Если вы самый маленький, на это у вас уйдет почти 14 лет. Не все так практично, правда?

Итак, если вы не генерируете стабильный поток посетителей, значит ли это, что вы вообще не можете проводить A / B-тестирование?

Неа. Вы все еще можете - вам просто нужно сделать это немного по-другому. Для ваших тестов вам придется меньше уделять внимания количеству отзывов (размер выборки из 31 000 посетителей, который потребуется для достижения статистической значимости), а больше - качеству обратной связи (получение большего количества отзывов от каждого посетителя).

Разница между качественной и количественной обратной связью

Количественная обратная связь - это все о числах. В A / B-тесте, когда у вас будет достаточно количественной обратной связи, вы можете начать делать выводы о поведении посетителей.

Например, предположим, что вы проводите A / B-тест на целевой странице после клика, используя числа, указанные выше. В нем у вашего элемента управления есть красная кнопка CTA, а у вашего варианта - синяя, и пока что на ваш вариант конвертируется больше посетителей, чем на элемент управления. Пока каждая страница не соберет 31 000 посетителей, вы не можете быть уверены, что причина , по которой они конвертируют больше по вашему варианту, заключается в изменении цвета кнопки.

Но когда вы собираете качественную обратную связь, вы больше взаимодействуете с каждым потенциальным клиентом, чтобы определить, почему они приняли такие решения. Раньше качественную обратную связь можно было получить только через фокус-группы за односторонними зеркалами. Сегодня в распоряжении маркетологов есть ряд инструментов, позволяющих максимально эффективно использовать каждого посетителя.

1. Используйте технологию опроса

Инструменты опроса позволяют вам задавать вашим клиентам вопросы об их пользовательском опыте, чтобы определить, что может быть причиной их поведения:

«Допустим, вы продаете курс / электронную книгу по дрессировке собак. У вас есть отличная страница продаж, множество отзывов, отличный дизайн и бонусная электронная книга, которую можно дополнить курсом. Однако конверсии удручающие; в некоторые дни у вас даже нет конверсий.

Что ты можешь сделать?

Вы регистрируетесь на Qualaroo и просите своих посетителей высказать свое мнение. Создайте место на боковой панели или на слайде, в котором людей спрашивают: «С какими проблемами вы сталкиваетесь на этом сайте?» »

Если вы получите что-то вроде «Я не знаю, куда отправить свою информацию» или «Эта кнопка не работает», вам не нужно слышать ее 31 000, чтобы узнать, что вам нужно сделать изменить на целевой странице после клика.

Всего несколько ответов могут раскрыть причину ваших дней низкой конверсии. Используйте отзывы посетителей, чтобы создать гипотезу о том, что вам следует изменить, а затем запустите A / B-тест, чтобы увидеть, имеют ли эти изменения значение.

2. Попробуйте чат

Подобно тому, как инструменты опроса могут рассказать вам больше о ваших перспективах, человек поддержки в чате может также помочь. Инструменты живого чата позволяют автоматически развернуть небольшое всплывающее окно чата в браузере посетителя, представляя вас как полезный ресурс, когда клиент сталкивается с проблемой трения.

Если это произойдет, скорее всего, они попросят вас о помощи. Если ваши клиенты сталкиваются с теми же проблемами, задавая вопросы типа «Есть ли у вашего продукта гарантия?», Вероятно, пришло время протестировать версию страницы, которая решает эту проблему. Если вы точно знаете, чего от вас хотят ваши клиенты, вы можете избавиться от догадок при тестировании и быть уверены, что ваша новая версия принесет рост конверсии.

3. Сосредоточьтесь на важных изменениях.

Когда у вас недостаточно трафика и вы не знаете, какие изменения окажут наибольшее влияние на ваш коэффициент конверсии, лучше всего сосредоточиться на тех, которые могут принести большой рост. Вы должны учитывать этот трафик.

Какова вероятность того, что немного меньший логотип изменит ваш коэффициент конверсии? Невероятно низко. Сколько еще людей нажмут вашу кнопку CTA, если она будет красной, а не оранжевой? Скорее всего, очень мало.

Максимально используйте свой трафик, сосредотачиваясь только на вещах, которые могут привлечь внимание.

4. Звоните своим клиентам

Да, это правда, люди предпочитают, чтобы с ними связывались по электронной почте по телефону, но это не значит, что вы не сможете связаться с ними по телефону. Попробуйте пойти по маршруту, который сделал Алекс Тернбулл из Groove.

В сентябре 2014 года он разослал это письмо более чем 2000 клиентам:

«Ответ, - говорит он, - поразил меня». На самом деле, это было настолько ошеломляющим, что Алекс понял, что простой обмен сообщениями по электронной почте и телефонный звонок с каждым покупателем не представляются правдоподобными. Итак, он подписался на некоторые услуги, чтобы помочь ему справиться с огромным количеством разговоров, которые ему понадобятся.

Вооружившись ручкой и бумагой, телефоном и подпиской на Join.me, Skype и Doodle, он решил поговорить со всеми, кто откликнулся. За четыре недели он провел более 100 часов, рассказывая клиентам о том, что они хотели бы увидеть в Groove. Результаты были:

1. Он узнал, что многие клиенты не осознают полную функциональность Groove, неоднократно описывая проблемы, которые можно было бы решить с помощью функций, уже включенных в продукт.
2. Он превратил многих недовольных клиентов в счастливых.
3. Он лучше понимал характер покупателей Groove, что позволяло компании ориентироваться на сегменты рынка, которые они раньше не рассматривали.
4. Он построил лучшие отношения с сотнями клиентов.
5. У него появилась возможность относительно быстро «поразить» некоторых клиентов. У многих были претензии к службе поддержки, которые были устранены в течение нескольких минут, что привело к лучшему восприятию бренда.
6. Он узнал, как улучшить маркетинговую копию Groove. «Слушать, как наши клиенты говорят о приложении и его преимуществах, а также рассказывают об их личных историях, проблемах и целях, - это единственный способ написать маркетинговую копию, которая действительно объединяет нас», - сказал он. «Разговор с нашими клиентами - единственный способ говорить так, как говорят наши клиенты».

Лучшее понимание ваших клиентов означает лучшее понимание их желаний, потребностей и способов общения с ними в Интернете. С таким пониманием вам не нужно будет разговаривать с 31 000 клиентов. В этом случае 500 коротких разговоров были более ценными, чем десятки тысяч кликов.

5. Инвестируйте в программное обеспечение для тепловых карт.

Когда вам нужно максимально использовать каждое посещение, программное обеспечение для тепловых карт позволяет вам глубже понять поведение ваших потенциальных клиентов. Карты наведения, карты кликов и карты прокрутки покажут вам, на что ваши посетители обращают внимание, где они нажимают и как далеко вниз по вашей странице они прокручивают.

Единственная проблема заключается в том, что с таким программным обеспечением вам потребуется несколько тысяч посещений на страницу, прежде чем вы сможете делать точные предположения о данных. Чтобы обойти это, Peep Laja рекомендует использовать инструменты, которые работают по алгоритму, такие как EyeQuant, Feng-GUI и LookTracker.

С их помощью вы можете загрузить снимок экрана, и программа даст вам советы по улучшению страницы. «Это не ваши настоящие пользователи, это что-то, - говорит Пип, - и некоторые люди, которым я доверяю, клянутся в их точности».

Используйте Instapage для создания и A / B-тестирования целевых страниц после клика, запросите демонстрацию Instapage Enterprise сегодня.