Многовариантное тестирование: как проводить лучшие тесты для достижения наилучших результатов

A / B-тестирование - один из самых простых способов найти идеи оптимизации для ваших целевых страниц после клика, но не всегда самый эффективный.

Прежде чем начинать тестирование двух, трех или четырех страниц за раз, узнайте, как тестировать еще больше, и найдите лучшую комбинацию элементов для конверсии ваших посетителей.

Что такое A / B-тестирование?

A / B-тестирование, также известное как сплит-тестирование, позволяет сравнить две разные версии веб-страницы, чтобы определить, какая из них лучше конвертирует посетителей.

Эти две страницы могут быть:

• Немного отличается

Если у вас дизайн с высокой конверсией и вы хотите выяснить, как улучшить один элемент, вы можете протестировать две разные страницы только с одним отличием. Если вы хотите узнать, работает ли заголовок, посвященный любопытству или новостям, лучше, вы можете сравнить заголовок с заголовком. Если вы хотите узнать, влияет ли видео или гифка на конверсию больше, вы можете протестировать их на каждой странице.

После получения равного трафика для каждого из них побеждает тот, который генерирует больше всего конверсий. Причина того, что одна из них произвела больше конверсий, ясна, поскольку между двумя страницами есть только одно различие.

• Совершенно разные

Вы также можете протестировать две разные страницы разными способами. Ваша исходная страница может иметь другой заголовок, избранное изображение и кнопку с призывом к действию, чем ваш вариант. Тестирование может выглядеть примерно так:

После получения равного трафика как на исходную страницу (A или «контрольную»), так и на страницу варианта (B), победителем становится та, которая преобразуется лучше. Но в отличие от случая, когда вы меняете только один элемент за тест, когда вы тестируете совершенно разные страницы, нет способа определить причину, по которой выиграла конкретная страница.

Принимая во внимание результаты приведенного выше примера, мы могли бы знать только, что версия «b» лучше, чем версия «a», но не причину, по которой она лучше, так как это может быть связано с рядом причин. Конверсии могли происходить из-за настройки панели навигации слева направо или из формы регистрации сверху вниз. Все, что вы можете с уверенностью сказать, когда проводите A / B-тестирование совершенно разных дизайнов, - это то, что одна страница лучше, чем другая.

Но есть другой вид теста, который вы можете запустить, чтобы определить, как изменения нескольких элементов взаимодействуют друг с другом. Это называется многовариантным тестом.

Что такое многовариантное тестирование?

Многовариантное тестирование - это процесс, используемый оптимизаторами для сравнения двух разных веб-страниц. Метод фокусируется на сравнении незначительных изменений между несколькими элементами, а затем измерении того, как эти элементы взаимодействуют друг с другом, с целью поиска наиболее эффективных элементов.

Разница между A / B-тестированием и многовариантным тестированием

Вы, вероятно, читали много тематических исследований A / B-тестирования, которые находят выигрышную страницу, сравнивая один заголовок с другим, или показанное изображение с видео, или один призыв к действию с немного другим. Хотя их можно использовать для этого с точностью, по мнению оптимизаторов Widemile, есть более идеальный способ использовать A / B-тестирование:

По их словам, идеальное применение для A / B-тестирования - «тестирование двух или более радикально разных страниц». С точки зрения тестирования, лучше провести A / B-тест, чтобы найти так называемый «глобальный максимум», и многомерный тест, чтобы уточнить его до «локального максимума».

Глобальный максимум и локальный максимум

Как бы сложно это ни было, представьте на секунду, что у вас никогда в жизни не было шарика мороженого, и вы стоите в кафе-мороженом, пытаясь решить, какой из 30 разных вкусов вы хотите купить. .

Есть 10 различных видов шоколада, 10 различных разновидностей ванили и 10 различных разновидностей клубники. Собираетесь ли вы попробовать все 30 вкусов, прежде чем решить, какой из них вы хотите попробовать?

Возможно нет. Скорее всего, вы попробуете один из совершенно разных вкусов - один шоколадный, один клубничный и один ванильный, - чтобы сузить выбор, который вам понравится больше всего. Если вы обнаружите, что вам нравится шоколад, а не ваниль и клубника, вы начнете пробовать такие вкусы, как «тесто для печенья с шоколадной крошкой», «шоколадно-арахисовое масло» и «шоколадная помадка», чтобы решить, какой из шоколадных конфет вам нравится больше всего.

С точки зрения статистики, мы бы назвали сорт, который вам нравится больше всего (шоколад, ваниль или клубника), глобальным максимумом. Это аромат, который вам больше всего нравится из трех совершенно разных типов. Специфический вкус этого сорта (шоколадная помадка, тесто для печенья с шоколадной крошкой, шоколадно-арахисовое масло) был бы местным максимумом. Это лучший вариант из того сорта, который вы выбрали.

Как оптимизатор, вы хотите подойти к тестированию аналогичным образом. Вы хотите найти страницу, которая лучше всего конвертирует ваших посетителей (глобальный максимум), а затем настроить определенные элементы на этой странице, чтобы улучшить ее до самой высокой конверсии, какой она может быть (локальный максимум). То, что вы ищете, определит, какой тест вы будете использовать.

Когда использовать A / B-тестирование, а когда - многовариантное тестирование

A / B-тесты лучше всего подходят для тестирования глобального максимума. Они лучше всего обнаруживают, на какую страницу ваши посетители хотят перейти. Возьмем этот пример из MarketingExperiments, который использовал A / B-тест, чтобы помочь Investopedia повысить конверсию своего информационного бюллетеня Investopedia Advisor.

Предложение было простым - бесплатный информационный бюллетень с советами по акциям - и исходная страница это отражала. Он не был длинным, сложным или загроможденным множеством элементов. В нем была форма для захвата потенциальных клиентов, маркированная копия и инфографика:

Но, несмотря на ценное бесплатное предложение, конвертация составила всего 1,33%. Команда MarketingExperiments решила полностью переработать страницу. Они изменили заголовок, макет, кнопку CTA и, среди прочего, добавили несколько значков. Затем они A / B протестировали новую страницу по сравнению с исходной и обнаружили, что у новой страницы конверсия на 89,4% выше. Вот как это выглядело:

Важно помнить, что с помощью этого A / B-теста экспериментаторы не выяснили, почему новая страница конвертируется лучше, чем старая, но они нашли новый, более высокий конвертер. Другими словами, они нашли новый глобальный максимум. На этом этапе, если они захотят, они могут уточнить эту страницу с помощью многовариантного тестирования, чтобы определить, какая комбинация элементов привлекает наибольшее количество посетителей.

Это именно то, что, например, хотят сделать тестировщики в этом гипотетическом примере из Optimizely. Они хотят выяснить, какая комбинация заголовка и изображения привлекает больше всего посетителей.

Таким образом, они создают несколько страниц с различными комбинациями заголовков и изображений, чтобы увидеть, какая из них работает лучше всего.

Какая бы из этих четырех версий ни показала самый высокий коэффициент конверсии, она побеждает. Если две версии с лампочкой работают лучше, чем две с шестеренкой, можно сделать вывод, что изображение лампочки оказывает наибольшее влияние на конверсии. Оттуда вы увидите, какой из сопутствующих заголовков принес больше конверсий, и воспользуетесь этой страницей.

Как провести многовариантный тест

Несколько лет назад, когда основатель VWO Парас Чопра хотел увеличить количество загрузок на своей веб-странице, он использовал многовариантное тестирование, чтобы выяснить, как это сделать. Если вы знакомы с этапами проведения A / B-теста, вы узнаете большинство шагов в этом примере многомерного теста.

1. Определите проблему

Прежде чем вы сможете начать улучшать свою веб-страницу, лучше всего покопаться в данных и выяснить, как посетители взаимодействуют с ними. Он обнаружил, что люди не нажимали его кнопку «скачать» так часто, как он ожидал, поэтому он просмотрел страницу, чтобы выяснить, почему.

2. Сформулируйте гипотезу.

После тщательного изучения он понял, что ссылка для скачивания совершенно незаметна. Поэтому он выдвинул гипотезу улучшения страницы:

Очевидное решение, чтобы посетители заметили ссылку для загрузки, - это сделать раздел загрузки наиболее заметной частью страницы. В дизайне страницы размер и цвет заголовка «Загрузить» хорошо сочетаются с остальной частью страницы, в результате чего люди пропускают ссылку для загрузки.

Сделав ссылку «Загрузить» более заметной, он полагал, что сможет повысить конверсию. Вот как он решил это сделать.

3. Создавайте варианты

Пришло время создать страницы вариантов для теста. Согласно пунктам:

Для многовариантного теста я выбрал два фактора на странице для создания вариантов: заголовок «Загрузить» на боковой панели и ссылку для загрузки «PDFProducer» под ним. В центре внимания теста было наблюдение за эффектом слова «бесплатно» и эффектом выделения раздела загрузки.

Вот как он решил сделать раздел загрузки более заметным и увлекательным.

Для исходной ссылки «Скачать» он протестировал три разных варианта:

• «Скачать» красным
• «Скачать бесплатно» красным
• «Загрузить» в цвете по умолчанию, но с большим размером шрифта.

Для исходной ссылки «PDFProducer» он протестировал два разных варианта:

• «PDFProducer» в цвете по умолчанию, но с большим размером шрифта.
• «PDFProducer» красным

Вот так выглядели все комбинации:

С четырьмя версиями ссылки для скачивания (включая оригинал) и тремя версиями текста «PDFProducer» (опять же, включая оригинал) было сформировано 12 различных вариантов для проведения полного факторного теста. Полный факторный анализ проверяет все комбинации, в отличие от дробного факториала, который проверяет только наиболее эффективные.

Хотя существует несколько методов многомерного анализа - полный факториал, дробный факториал и метод Тагучи, - большинство оптимизаторов рекомендуют использовать полный факториал для его точности, утверждает Алекс Биркетт из CXL.

4. Определите размер вашей выборки.

Прежде чем вы начнете привлекать трафик на свои страницы, вам необходимо определить размер вашей выборки - количество посетителей, которые должна вызвать каждая страница, прежде чем вы сможете сделать выводы о результатах вашего теста.

Этот калькулятор от VWO поможет вам вычислить, сколько посетителей и сколько времени вам нужно для запуска теста на основе трафика вашего веб-сайта, количества вариантов и вашей статистической значимости.

Чтобы узнать больше о достижении статистической значимости и обо всем, что вам нужно сделать в калькуляторе, ознакомьтесь с этим сообщением в блоге.

5. Проверьте свои инструменты.

Проверьте все, прежде чем запускать трафик. Ваша целевая страница после клика выглядит одинаково в каждом браузере? Ваша кнопка CTA работает? Все ли ссылки в ваших объявлениях верны?

Прежде чем вы начнете что-либо запускать, важно проконтролировать каждый аспект вашей кампании, чтобы убедиться, что ничто не отравляет ваши результаты.

6. Начните управлять трафиком.

Теперь, когда вы создали свои варианты и знаете, сколько трафика вам нужно создать для каждого из них, можно безопасно начать привлекать к ним трафик. Самым большим недостатком многовариантных тестов является колоссальный объем трафика, который вам понадобится, прежде чем вы сможете их завершить, поэтому вам нужно набраться терпения.

Когда вы проводите A / B-тестирование, есть только две страницы, на которые вам нужно привлечь значительный трафик. Но в многовариантном тесте, таком как, например, в Paras, есть 12 разных страниц, которые должны собрать большой размер выборки, прежде чем вы сможете вызвать тест.

Следите за угрозами вашей действительности и не забывайте учитывать увеличение количества ложноположительных результатов, - говорит Леонид Пекелис:

«По сути, вы проводите отдельный A / B-тест для каждого взаимодействия. Если у вас есть 20 взаимодействий, которые нужно измерить, и ваша процедура тестирования имеет 5% вероятность обнаружения ложных срабатываний для каждого из них, вы внезапно ожидаете, что одно взаимодействие будет обнаружено как значимое совершенно случайно. Есть способы учесть это, их обычно называют множественными исправлениями тестирования, но, опять же, цена заключается в том, что вам нужно больше посетителей, чтобы увидеть убедительные результаты ».

7. Проанализируйте свои результаты.

Проведя свой тест в течение четырех недель, Парас обнаружил:

Вы можете заметить, что заголовок «Скачать бесплатно», выделенный красным цветом, увеличил коэффициент конверсии загрузок с 39% до 63%, то есть на 60% больше. Использование «Загрузить» крупным шрифтом (в сочетании с красным цветом ссылки) также дает положительное (43%) улучшение по сравнению с настройкой по умолчанию. Из всех результатов три лучших статистически значимы при уровне достоверности 95% или более.

Парас мог бы реализовать свою новую страницу и забыть об этом тесте, но вместо этого он подчеркивает важный заключительный шаг:

8. Учитесь на своих результатах

Каждый из ваших тестов должен использоваться, чтобы узнать что-то о ваших веб-страницах и их посетителях, что вы можете использовать для информирования будущих тестов.

Он узнал об этом на своей веб-странице:

• Слово «бесплатно» нашло отклик у посетителей его сайта.
• О бесплатном характере предложения лучше всего сообщать в призыве к действию или рядом с ним.
• Красный цвет привлек внимание посетителей.
• Более крупный призыв к действию привлек больше внимания посетителей.

Но помните, это результаты его теста. Хотя слово «бесплатно» всегда полезно использовать на любой веб-странице, рекламирующей бесплатное предложение, лучшее расположение, размер и цвет вашего CTA могут отличаться на ваших веб-страницах. Единственный способ узнать наверняка - это протестировать.

Вы пробовали многовариантное тестирование?

Вы отклонились от многомерного тестирования, потому что считали его слишком сложным? Подпишитесь на демонстрацию Instapage Enterprise сегодня.