Рекомендуемый набор A / B-тестирования для продвинутых цифровых маркетологов

Концепция A / B-тестирования проста. Вы сравниваете две версии контента друг с другом, чтобы определить, какая из них работает лучше.

В результате проведения сплит-тестов ваш бизнес и веб-сайт получат больше потенциальных клиентов и более высокий коэффициент конверсии.

Меня зовут Ларс Лофгрен, и до того, как я начал руководить компанией в Quick Sprout, я начал свою карьеру в области роста. Как директор по развитию в KISSmetrics и я научу вас быть богатым, я лично отвечал за достижение наших целей по привлечению потенциальных клиентов и запускал наши программы A / B-тестирования для повышения конверсии на каждом веб-сайте.

За свою карьеру я провел сотни A / B-тестов.

В обеих компаниях я увеличил конверсию вдвое и втрое. В частности, я в четыре раза увеличил ежемесячный поток лидов в KISSmetrics и построил машину для генерации лидов, дающую 40 000 лидов в месяц в I Will Teach You Be Rich.

За свою маркетинговую карьеру я перепробовал практически все программы, относящиеся к тестированию. Некоторые были потрясающими, а некоторые нет. Если бы я снова активизировал программу A / B-тестирования, я бы доверял этим 11 инструментам.

Лучшие инструменты для A / B-тестирования

Для A / B-тестирования вам понадобится довольно много разных типов инструментов. Это выходит далеко за рамки одного инструмента для запуска тестов. Пройдемся по всем применимым категориям.

Транзакционные и настраиваемые электронные письма

Чтобы правильно тестировать транзакционные электронные письма, вам потребуется полный контроль над созданием и аналитикой электронных писем. SendGrid предлагает этот тип управления. Более популярные инструменты электронной почты, такие как MailChimp, просто недостаточно надежны, даже многие инструменты автоматизации маркетинга недостаточно гибки. Лучше иметь инструмент электронной почты, которым ваши разработчики могут полностью управлять.

В Sendgrid есть встроенное A / B-тестирование, но оно ограничено:

Магия Sendgrid заключается не в встроенных функциях. Это связано с тем, что ваши разработчики могут проводить A / B-тестирование целых писем и воронок, поскольку у них есть полный контроль. Когда у вас есть полный контроль, вы можете запускать любые тесты, которые захотите.

Во-первых, я лично никогда не утруждаю себя тестированием строк темы или рейтинга кликов. Они не оказывают существенного влияния на бизнес. Во-вторых, тестирование контента - это нормально, но я предпочитаю тестировать совершенно другие цепочки писем. Вот где я нашел свои самые большие победы. Вот почему я игнорирую встроенный пользовательский интерфейс тестирования и использую Sendgrid для всех писем.

Большинство моих тестов электронной почты A / B на самом деле являются проверочными. Отправьте свое электронное письмо 50% тестовой группы, не отправляйте ничего остальным 50%. Вы сможете увидеть истинное влияние этого письма.

Обзоры

SurveyMonkey - это отраслевой стандарт для онлайн-опросов. Почти все из вас, кто читает это, в тот или иной момент проходили опрос через свою платформу.

Мне нравится SurveyMonkey, потому что он очень прост в использовании. Поскольку почти все с ним знакомы, пользователи могут принимать участие в опросах, основанных на их программном обеспечении.

Вы можете спросить: «Почему я считаю опросы частью своего стека A / B-тестирования?»

Ответы на опросы способствуют пониманию, которое приводит к победам в A / B-тестировании. Прежде чем проводить какие-либо тесты, я начинаю с качественного исследования. Чем лучше я понимаю клиентов, тем выше шансы, что я найду победителя с помощью A / B-тестов.

Помните эти советы, чтобы собрать ценную качественную информацию:

• Не усложняйте свои опросы. Сосредоточьтесь на том, чтобы задать 5-10 вопросов, которые вам действительно нужно знать.
• Сосредоточьте большую часть своих вопросов на проблемах, с которыми сталкиваются клиенты.
• Начните с открытых вопросов, пока у вас не появится действительно хорошая интуиция для респондента.

Для получения дополнительной информации, здесь есть несколько отличных советов по проведению опросов.

Пользовательские тесты

Еще один отличный способ получить качественную информацию о победах в A / B-тестировании - это пользовательские тесты. Лучший инструмент для этих экспериментов - UserTesting.

Первое, что вам нужно сделать, это выбрать свою аудиторию. Вы можете использовать свою аудиторию или подключиться к конкретной цели через панель UserTesting. Платформа позволяет точно определить демографические данные и другие факторы, чтобы найти лучших пользователей для ваших экспериментов.

Затем выберите 5 или 10 пользователей, которые будут выполнять процесс адаптации или другие обычные действия в потоке пользователей на вашем веб-сайте. UserTesting предоставит видео, на которых эти пользователи взаимодействуют с вашим контентом. В результате вы можете определить основные моменты трения, которые принесут вам победу при A / B-тестировании.

Это золотая жила для побед в A / B-тестировании. Я настоятельно рекомендую использовать некоторые из них в процессе регистрации или адаптации. Я всегда нахожу серьезную проблему, которая позже приводит к большим победам. В KISSmetrics мы узнали, насколько сложно людям составить карту всех данных, которые им нужно было отслеживать. Затем мы обновили процесс адаптации, сделав его более структурированным и пошагово проводя людей через каждую часть данных.

Бизнес-аналитика

Тем из вас, кто хочет серьезную программу A / B-тестирования, вам необходимо принести все свои данные и отчеты внутри компании. Чтобы сделать это эффективно, вам понадобится какое-то хранилище данных. После того, как это настроено, вы можете реализовать лучший (на мой взгляд) инструмент для создания отчетов бизнес-аналитики - Tableau.

Я предпочитаю Tableau, потому что он дает мне полный контроль и генерирует любой отчет, который вы хотите. Поскольку я знаю точные запросы, отчеты и визуализации, которые мне нужны, я могу построить все так, как я хочу.

Однако досадная новость заключается в том, что кто-то должен управлять им и создавать отчеты, которые вам нужны, а это работа на полную ставку. Вам также понадобится опыт на руководящем уровне, чтобы знать, какая отчетность требуется. Традиционный аналитик бизнес-аналитики может создавать отчеты, но не знает, какие отчеты и показатели наиболее важны для бизнеса. Все это быстро становится дорого.

Это решение не для всех. Идите по этому пути только в том случае, если у вас есть опыт и бюджет, чтобы убедиться, что он выполняется должным образом.

Калькулятор статистической значимости

В зависимости от вашего уровня навыков для расчета статистической значимости рекомендуется использовать два инструмента.

Простой калькулятор
Калькулятор значимости A / B от Нила Пателя - ваш самый простой вариант. Все, что требуется, - это вручную ввести количество посетителей и конверсий для каждого варианта:

Затем калькулятор определяет, был ли тест достаточно значительным, чтобы сделать выводы.

Расширенный калькулятор
Если вам нужен более продвинутый вариант, калькулятор AB Testguide - лучшее решение. Этот инструмент дает вам больше параметров для включения в расчет.

С помощью этого калькулятора вы можете выбрать гипотезу и уровень достоверности. Даже результаты теста более продвинутые. Инструмент показывает не только график, но и другие статистические данные, а также наблюдаемую мощность, p-значение, z-оценку и стандартную ошибку разницы:

Это набор дополнительных деталей, которые имеют смысл только в том случае, если вы много тестировали или имеете опыт работы в статистике. Если это слишком сложно, выберите более простой калькулятор.

Почему я их использую?

Разве большинство инструментов тестирования не рассчитывают статистическую значимость?

Если и есть один урок, который я усвоил, так это не доверять слепо новым инструментам. Перепроверяйте расчеты статистической значимости, пока не будете уверены, что инструменту A / B-тестирования можно доверять. Есть много способов вычислить статистическую значимость, и это тоже легко испортить.

Поэтому всякий раз, когда я работаю с новым программным обеспечением для тестирования, я всегда использую один из приведенных выше калькуляторов, пока не буду уверен, что их расчеты верны.

Веб-аналитика

Не ищите ничего дальше, чем Google Analytics, король анализа трафика.

Чтобы провести A / B-тестирование веб-сайта, вам необходимо понимать динамику трафика, в частности:

• Какие страницы получают больше всего трафика?
• Какие источники трафика растут или сокращаются?
• Какие страницы приносят больше всего трафика?

Даже если вы используете Google Analytics только для того, чтобы подтвердить, что у вас достаточно трафика на страницах, которые вы собираетесь провести A / B-тестирование, его легко установить. Это также совершенно бесплатный инструмент мирового класса.

Есть причина, по которой он установлен почти на каждом сайте. Качество данных, объем отчетов и аналитических данных, а также тот факт, что это совершенно бесплатно, делают Google Analytics непревзойденным вариантом.

Раньше я сильно настраивал профили Google Analytics. Однако в настоящее время я редко касаюсь настроек и полагаюсь на встроенные отчеты. Поэтому я предлагаю вам сделать то же самое.

Пользовательская аналитика

Зачем нужен второй инструмент аналитики? Разве Google Analytics недостаточно?

Даже по прошествии стольких лет Google Analytics отлично справляется с анализом трафика. Да, теперь в нем есть отслеживание пользователей, но он никогда не был предназначен для этого. Вы должны быть опытным пользователем Google Analytics, чтобы использовать его для полноценного анализа пользователей.

В этой связи мой любимый инструмент для пользовательской аналитики и данных о клиентах - Amplitude, потому что вы можете легко отслеживать последовательности пользователей:

Большинство программ A / B-тестирования обычно сосредоточены на воронках регистрации и адаптации. Мало того, что есть большой объем для тестирования, но и небольшие улучшения этих воронок могут иметь большое влияние на бизнес.

Проверяя свои воронки, вы захотите отслеживать их каждый месяц, чтобы убедиться, что они неуклонно улучшаются. A / B-тесты могут дать один результат, но ваши ежемесячные KPI не будут полностью совпадать.

Если вы решили использовать хранилище данных и инструмент бизнес-аналитики, такой как Tableau, вы можете полностью пропустить инструмент пользовательской аналитики. Я считаю, что инструмент пользовательской аналитики - это хороший промежуточный этап, когда бизнес не готов построить всю инфраструктуру.

Целевые страницы после клика

Для кликов после рекламы вам понадобится специальное решение, которое специализируется на работе с целевой страницей, а не универсальное программное обеспечение, которое имеет «A / B-тестирование» или «конструктор». Это особенно верно, когда каждая кампания заслуживает уникальной целевой страницы после клика и A / B-тестирования каждой страницы в процессе. Instapage не только помогает масштабировать производство целевых страниц для каждой кампании, но и имеет встроенное A / B-тестирование. Когда вы обнаружите победы, вы сможете сразу их запустить:

Мои маркетинговые программы всегда заканчиваются множеством целевых страниц. Если вы не проводите A / B-тестирование страниц с наибольшим трафиком, вы теряете доход.

Тепловые карты

В исследовании клиентов есть общий совет: «не сосредотачивайтесь на том, что говорят люди, сосредоточьтесь на том, что они делают». Вот почему тепловые карты - еще один отличный ресурс для сбора качественных данных. Тепловые карты идеально подходят для того, чтобы лучше понять, как люди себя ведут. Кроме того, их очень легко понять.

Знание того, на что люди нажимают, как далеко они прокручивают и куда движется мышь, порождает всевозможные идеи по оптимизации - это еще одна золотая жила идей для A / B-тестирования.

В платформу Instapage встроены тепловые карты, которые могут делать все три для целевых страниц после клика (изображение ниже - это только карта кликов):

Вы также захотите запустить тепловые карты на своем основном сайте. В таком случае я бы порекомендовал Crazy Egg:

Создавайте тепловые карты на своих домашних страницах, страницах с ценами и в процессах адаптации. Ищите вещи, которые получают много кликов, чего вы не ожидали, и предметы, которые, как вы думали, привлекут больше внимания, но этого не сделали. Затем придумывайте тестовые идеи, которые подчеркивают, чего хотят люди, и при этом не акцентируют внимание на том, что им наплевать.

В CXL есть много отличных советов по использованию тепловых карт.

A / B тестирование

А как насчет самого инструмента A / B-тестирования? Какой вариант лучше всего подходит для тестирования домашних страниц, процессов адаптации и продуктов? На мой взгляд, VWO:

VWO предлагает надежный продукт для A / B-тестирования, стоимость которого начинается от 199 долларов в месяц. По сравнению с другими инструментами, которые легко могут стоить десятки тысяч долларов в год, VWO намного доступнее. Стоимость доллара исключительно высока.

С VWO вы сможете запускать несколько сплит-тестов одновременно. Также есть визуальный редактор, который позволяет запускать A / B-тесты без редактирования кода. Идеально подходит для тестирования таких элементов, как заголовки. Вы также можете использовать их редактор кода, чтобы вносить более сложные изменения в свои тесты. Редактор кода - огромное улучшение.

WordPress A / B тестирование

WordPress - самая популярная CMS в мире, но запуск A / B-тестов на всем сайте WordPress может быть проблемой. Платформа точно не предназначена для этого.

Вот почему вам следует использовать такой плагин, как Nelio, для A / B-тестирования WordPress:

Имейте в виду; вы хотите привести свой сайт в порядок перед проведением этого тестирования. Если вы не очистите все, вы столкнетесь с бесчисленными конфликтами плагинов, и ваш сайт не сможет обслуживать варианты тестирования достаточно быстро для правильного тестирования. Поскольку WordPress никогда не предназначался для тестирования в масштабе всего сайта, A / B-тесты легко конфликтуют с плагинами, темами и плохо построенными сайтами.

Во-первых, убедитесь, что у вас хороший веб-хостинг. Меньше всего вам нужен медленный хост, который задержит обслуживание варианта, чтобы пользователь заметил изменение. Затем очистите свою тему WordPress и удалите все ненужные плагины. Это уменьшит любые конфликты плагинов и позволит выполнять ваши тесты достаточно быстро, чтобы их не заметили.

После того, как ваш сайт WordPress будет очищен и загрузится быстро, установите Nelio и используйте его для запуска A / B-тестов в масштабе всего сайта. Раньше я проводил много тестов в нашем блоге, чтобы увеличить конверсию в подписки по электронной почте.

Заключение

Настоящая программа A / B-тестирования требует набора инструментов для эффективной работы. После тестирования сотен инструментов в нескольких компаниях и сотен тестов я предпочитаю приведенный выше стек, потому что они ориентированы на разные области цифрового маркетинга, и ни один из них не является «лучшим» во всех категориях.

Если вы подумываете о каком-нибудь новом популярном инструменте, не стесняйтесь менять один из них. Мое общее правило - почаще экспериментировать с инструментами, которые легко запускать и останавливать, например, с инструментами для записи или опроса пользователей. Но для инструментов инфраструктуры, таких как аналитика, я выбираю тот, который надежен и на который я смогу положиться в течение многих лет.

об авторе
Ларс в настоящее время является генеральным директором QuickSprout. До этого он был директором по развитию в компаниях I Will Teach You Be Rich и KISSmetrics.