Как анализировать результаты A/B-тестирования с помощью анализа A/B-тестирования

Последнее, что кому-либо нужно, — это ложноположительный результат — независимо от теста! С оптимизацией коэффициента конверсии (CRO) ложное срабатывание может привести к тупику.

Когда вы проводите тест A/B , вы хотите знать, действительно ли ваша тестовая страница (B) превзошла контрольную страницу (A), прежде чем тратить время на настройку форм, страниц или других аспектов вашего сайта.

Техника анализа A/B-тестирования поможет определить, был ли ваш тест статистически значимым и есть ли у вас выигрышный набор данных.

Как узнать, был ли ваш A/B-тест статистически значимым?

Статистическая значимость означает, что вы можете повторить тест и постоянно получать такие же или похожие результаты.

Например, допустим, вы изменили расположение кнопки призыва к действию (CTA). Раньше кнопка находилась под содержимым вашей целевой страницы, но вы предположили, что получите больше потенциальных клиентов, если разместите кнопку впереди и по центру. Итак, вы настроили страницу и разместили кнопку над основным заголовком.

Затем вы протестировали прежний лендинг — контрольную страницу — на 1000 посетителей. Оттуда вы протестировали измененную страницу еще на 1000 посетителей. После того, как вы измерили свои результаты с помощью калькулятора A/B-тестирования, он показал увеличение количества кликов на кнопку CTA на 25% после того, как вы переместили ее вверх на странице.

Если вы повторите тест более одного раза и продолжите получать примерно 25%-ное увеличение кликов, вы можете обоснованно предположить, что ваши результаты статистически значимы. Вы также можете предположить, что изменение расположения кнопки CTA было причиной изменения.

Как вы анализируете свой A/B-тест?

Хотя калькуляторы A/B не являются окончательным анализом A/B-тестирования, они помогают вам разобраться в данных, которые вы собираете.

Допустим, у вас есть небольшой бизнес. Среднее количество посетителей вашего сайта колеблется от 100 до 500 пользователей в неделю. Вы провели аналогичный A/B-тест для кнопки CTA на целевой странице, но с размером выборки 100 человек вместо 1000.

Ваши результаты показывают, что 50 из 100 человек нажали кнопку CTA на исходной странице. На тестовой странице кнопку нажали 58 человек. Хотя это увеличение может показаться значительным для размера выборки, согласно A/B-калькулятору, это изменение составляет всего 16%.

Что нужно сделать перед запуском A/B-тестирования?

Прежде чем мы начнем с нашего примерного сценария, вот краткое изложение того, что вы должны сделать, прежде чем собирать какие-либо данные.

1. Знайте свои цели

Каковы ваши ключевые показатели эффективности (KPI)? Другими словами, какие разговоры приносят наиболее важные результаты для вашего бизнеса? Эти показатели могут быть любыми: от объема продаж до удержания клиентов. Сосредоточение внимания на изменениях, направленных на достижение ваших ключевых показателей эффективности, приведет к наилучшим результатам.

2. Знайте, где вы находитесь и куда хотите пойти

Как только вы поймете, что хотите измерить, выясните, где вы сейчас находитесь. Возможно, у вас уже есть общее представление, если вы измерили количество кликов по объявлениям, количество открытых писем или количество лидов, заполняющих вашу контактную форму в месяц.

Взгляните на свою CRM и Google Analytics , чтобы измерить данные в их нынешнем виде. Текущие данные должны дать вам представление о том, какие улучшения необходимы и реалистичны.

Как узнать, является ли ваш тест статистически значимым (без использования калькулятора A/B)

Теперь самое интересное — анализ A/B-тестирования. После того, как вы выполнили описанные выше шаги, помимо проведения испытаний и сбора данных, вы можете определить, достаточно ли значительны ваши результаты для внесения изменений.

Хорошая новость заключается в том, что вы все еще можете использовать калькулятор A/B в качестве отправной точки. Из 100 посетителей веб-сайта для малого бизнеса, о которых мы говорили ранее, количество кликов увеличилось на 16% из-за перемещения кнопки CTA — предположительно. Итак, как мы узнаем, правда ли это?

1. Повторите тест

Всякий раз, когда вы запускаете A/B-тест, если изменение незначительно, вы захотите повторить тест, например, если разница в результатах меньше 36%.

Как правило, лучше всего провести A/B-тестирование повторно, чтобы у вас было достаточно данных, чтобы сделать вывод, что результат был прямым результатом внесенных вами изменений.

2. Проанализируйте данные еще раз

Предположим, что после этого повторного запуска 60 человек из 100 нажали кнопку призыва к действию на тестовой странице, а 52 — на исходной странице. Согласно калькулятору, это увеличение на 15,38%.

3. Запустите тест еще раз (и проанализируйте результаты)

Этот результат аналогичен изменению на 15–16% в третий раз. Однако, прежде чем приступить к реализации изменений, еще раз проверьте свои результаты.

Когда вы работаете с выборкой меньшего размера, трудно понять, является ли последовательное изменение совпадением или нет. Как правило, чем больше размер выборки, тем большей статистической мощностью вы обладаете.

4. Запустите еще один A/B-тест — проверьте свою контрольную страницу на самой себе.

Технически такая оценка будет считаться А/А-тестом. Протестируйте свою контрольную страницу на одной группе из 100 посетителей и протестируйте ту же страницу на другой группе из 100 посетителей. Это можно сделать до или после тестирования изменения.

Естественная разница в кликах по CTA без каких-либо изменений не должна превышать 2%. Этот диапазон учитывает естественные колебания количества кликов, получаемых вашей страницей. Любые изменения, выходящие за пределы этого диапазона, можно обоснованно считать значительными.

Теперь, когда у вас достаточно данных, пришло время проверить, соответствуют ли они трем параметрам. Определите, являются ли данные:

• Достаточно: Да, мы провели тест три раза.
• Постоянство: Да, мы получили аналогичный результат трижды.
• Дифференцированный: Да, мы проверили нашу контрольную страницу на самой себе и заметили, что естественные изменения упали между -2 и 2%, что означает, что наше постоянное увеличение кликов на нашей тестовой странице на 15% было значительным.

На основании этих результатов мы можем определить, что данные являются статистически значимыми. Мы также можем обоснованно предположить, что причиной увеличения числа кликов стало изменение расположения кнопки CTA.

WebFX является доверенным партнером.

Послушайте, что говорит HydroWorx, количество органических сеансов с WebFX увеличилось на 236% .

Посмотрите видео-отзыв

Сотрудничайте с WebFX для анализа A/B-тестирования

Как видите, анализ A/B-тестирования может оказаться непростой задачей, особенно если вы не уверены, какие изменения приведут к наилучшему результату. Наша команда из 500+ профильных экспертов в WebFX использует стратегии SEO, основанные на данных, для создания эффективных целевых страниц с помощью наших услуг A/B-тестирования. Мы заработали для наших клиентов более 3 миллиардов долларов и готовы вывести вашу целевую страницу на новый уровень.

Свяжитесь с нами онлайн или позвоните нам по телефону 888-601-5359 , чтобы поговорить со стратегом уже сегодня!