Вот как возможно A/B-тестирование MailChimp в автоматизированных кампаниях

Этот пост был первоначально опубликован в 2016 году в рамках серии статей Edgar Learn, где мы поделились стратегиями, которые помогли нам добиться успеха. Хотя с тех пор многое изменилось, кажется, что этот лайфхак MailChimp для A/B-тестирования, который мы обнаружили еще в 2016 году, все еще может работать сегодня, поэтому мы решили сохранить его в сети, чтобы вы могли попробовать.

Мы в MeetEdgar просто обожаем MailChimp. Это, без сомнения, один из самых важных инструментов для нашего бизнеса.

Но когда мы начали по-настоящему вникать в A/B-тестирование MailChimp и отправлять тестовые электронные письма MailChimp, мы столкнулись с небольшой проблемой.

MailChimp не позволяет проводить A/B-тестирование автоматических кампаний, и это ПО-ПРЕЖНЕМУ верно в 2021 году. Они разрешают многовариантное тестирование только отдельных электронных писем.

В этом есть смысл — основное правило A/B-тестирования заключается в том, что вы хотите изменять только одну переменную за раз, а сама природа автоматизированных кампаний (автоматическая отправка нескольких электронных писем подряд) делает это очень сложным.

Однако, где есть воля, есть и способ, и мы обнаружили небольшую хитрость, которую вы, возможно, захотите добавить в свой арсенал хаков MailChimp.

Как взломать A/B-тестирование MailChimp

Например, если у вас есть серия из трех электронных писем, и вы хотите протестировать изменения во всех трех, вам нужно настроить тест, который выглядит примерно так:

Где «Контроль» — стандартная версия письма, а «Тест» — письмо.

Это девять различных вариантов, что означает, что мы разделим трафик на девять различных способов, а это означает, что потребуется некоторое время, чтобы получить значимый размер выборки. И поскольку на выполнение каждой из этих серий уже уходило несколько дней, мы рассчитывали очень долго, чтобы правильно провести каждый тест.

Поэтому мы решили немного схитрить и сделать наши тесты просто такими:

Пожалуйста, не вызывайте полицию тестирования на нас! Мы знаем, что это не самый научный способ A/B-тестирования MailChimp.

Наше оправдание, помимо общей простоты и скорости тестирования, заключалось в том, что мы также искали большие изменения в наших коэффициентах конверсии. Когда вы ищете БОЛЬШОЕ изменение, становится немного менее важным изолировать, какой именно элемент вы меняете в тесте.

Как мы обманом заставили MailChimp запустить эти тесты

Поскольку MailChimp вообще не позволял нам запускать тесты автоматических электронных писем, нам пришлось придумать обходной путь. Итак, вот что мы сделали…

Наше тестирование было сосредоточено в первую очередь на нашей серии приглашений.

Когда вы посетили MeetEdgar.com, вам было предложено подписаться на приглашение использовать Edgar. Когда вы подписывались на приглашение, вам присваивался номер (тестовый вариант). Это было сделано с помощью небольшого закулисного волшебства, разработанного нашим экспертом по WordPress.

Когда мы создавали сегменты для тестовых кампаний в MailChimp, мы использовали этот номер тестового варианта, чтобы разделить вас либо на тестовую, либо на контрольную группу. Тогда мы отправили вам соответствующую капельную кампанию.

За несколько мгновений до изобретения номера варианта теста.

Чтобы еще раз сослаться на наши примеры выше, если бы мы проводили официальное научное исследование, нам потребовалось бы девять таких групп для тестирования девяти различных вариантов нашего потока тестирования. Но в нашей упрощенной версии нам нужно было всего два варианта теста, чтобы получить желаемые результаты.

Таким образом, мы могли бы просто присвоить каждому единицу или двойку. Но это не то, что сделал бы Хакерман!

Вместо этого мы присвоили каждому номер от одного до шести. Это помогло обеспечить более равномерное (и случайное) разделение между группами, а также позволило провести трехстороннее сплит-тестирование, если мы чувствуем себя особенно… вспыльчивыми.

Единицы, двойки и тройки вошли в нашу контрольную группу и получили те же электронные письма, которые мы обычно отправляли. Четверки, пятерки и шестерки перешли в экспериментальную группу и получили совершенно новый флоу.

Вот как выглядит инструмент «Сегмент» в MailChimp:

Мы использовали тестовый вариант, чтобы разделить нашу аудиторию.

Обратите внимание, что вам нужно сделать это только для первого письма в автоматизированной серии! Все остальные электронные письма связаны с этим электронным письмом, что упрощает разделение потоков для тестирования. Спасибо, MailChimp!

Как мы измеряли успех

Самой сложной частью нашего тщательно продуманного процесса тестирования было измерение результатов.

Мы смотрели на две основные вещи: Open Rate и Click Rate.

Open Rate — это количество людей, открывающих каждое письмо, а Click Rate — сколько людей нажимают на ссылку в каждом письме. Это довольно очевидная жизненно важная статистика, верно?

Причина, по которой было сложно измерить успех, заключалась в том, что нам нужны были конкретные цифры для работы, но MailChimp дает эти цифры в процентах. Поэтому мы создали электронную таблицу, в которой учитывались процентные ставки и общее количество отправленных писем, а также выдавались фактические цифры кликов и открытий. Это выглядело так:

Не волнуйтесь, мы объясним столбцы через секунду!

Так зачем нам нужно было фактическое количество открытий и кликов? Потому что затем мы взяли эти цифры и ввели их в калькулятор значимости сплит-тестов VWO, чтобы проверить, являются ли наши результаты статистически значимыми.

Вот как это выглядело:

Не вдаваясь в математику, этот калькулятор в основном определяет, достаточно ли велик размер вашей выборки, чтобы показать реальное изменение. В приведенном выше примере их не было — вот почему наш «Значимый?» столбец в электронной таблице также показывает «Нет»

Мы продолжаем проводить тест и вручную вводить числа в электронную таблицу и калькулятор, пока они не проявят значимость, или мы решим, что это продолжалось достаточно долго, чтобы показать, что изменение не оказало реального влияния. И иногда это может быть довольно ценным уроком!

Наш самый большой урок на данный момент

Мы почерпнули много полезной информации из нашего смешанного тестирования, включая классическое тестирование темы MailChimp и изменение содержания определенных электронных писем. Но в целом наши самые ценные выводы были получены из теста, который не показал значительных изменений в производительности — того самого теста, который мы использовали в качестве примера на изображениях выше.

В этом тесте единственное, что отличало наши две кампании, — это количество времени между каждым электронным письмом. В нашем распоряжении было три электронных письма, разбросанных примерно в течение месяца. В нашем тесте мы сократили этот график до 10 дней.

И угадайте, что? Результаты были почти такими же.

По сути, мы узнали, что можем сократить сроки нашей вступительной кампании по электронной почте примерно до одной трети ее первоначальной продолжительности без каких-либо негативных последствий. Так что, конечно же, это стало нашим новым стандартом! Это не помогло быстрее привлечь новых клиентов, но также ускорило наши будущие тесты. И это то, что приносит дивиденды в будущем.

Хотите тоже повеселиться с MailChimp? Тогда попробуйте этот трюк с автоматическим тестированием кампании!

Пробовали ли вы тестировать автоматизированные кампании в MailChimp?

Если вы читали этот пост еще в 2016 году и воспользовались нашими советами по тестированию, мы будем рады услышать, как вы справились. Вы открыли для себя что-то полезное, веселое, интересное?

Если вы впервые пробуете этот небольшой лайфхак, расскажите нам о своих впечатлениях в комментариях! Нам нравится учиться на ваших экспериментах.