Когда искать локальный и глобальный максимум с помощью A / B-тестирования

Представьте, что вы поднимаетесь на Эверест в густом тумане с амнезией. Вы можете видеть только до протянутой руки. Вы не знаете, где находитесь и в каком направлении двигаться, только то, что вам нужно достичь вершины. Каковы ваши шансы?

Наверное, настолько низко, насколько высока гора.

Какая бы драматическая ни была эта аналогия, она была сделана в отношении основы популярного метода A / B-тестирования. Этот пик - лучшая версия вашей целевой страницы после клика, и вы запутались, почти ослепли и потерялись на склоне горы вашей текущей страницы.

Что еще хуже, ваши любимые блоггеры-маркетологи, вероятно, вручили вам неправильную карту. Вы можете подумать, что вы проводите A / B-тестирование в правильном направлении - что вы движетесь в направлении этого пика. Однако есть вероятность, что вы скоро зайдете в тупик и никогда не найдете наиболее эффективный вариант целевой страницы после клика.

Миф о A / B-тестировании, сбивающий с толку новичков

Некоторые из самых популярных маркетинговых блогов в Интернете продолжают увековечивать миф о A / B-тестировании, который с самого начала обрекает новичков. Когда я начинал, это тоже преследовало меня.

«Не меняйте более одного элемента страницы за один A / B-тест», - я читал снова и снова. Я не подвергал это сомнению, потому что источники были достоверными и потому что в основном это имело смысл.

Целью A / B-тестирования является сбор данных, которые вы можете использовать для оптимизации страницы, электронной почты, рекламы или всего, что вы тестируете. Как я должен был узнать, что вызвало изменение коэффициента конверсии по завершении теста, если я сделал более одной корректировки между версиями «A» и «B»? Что это за данные?

Итак, я тестировал элементы по одному: заголовок целевой страницы после клика «A» и заголовок целевой страницы после клика «B». Затем это была синяя кнопка на целевой странице «А» после клика по сравнению с зеленой кнопкой на целевой странице «Б» после клика. Так поступили профессионалы, Amazon и Google. Если этого было достаточно для компаний с многомиллиардными доходами, то для меня этого было достаточно.

Проблема, которую я упустил, и о которой я болезненно осознал несколько месяцев спустя, заключается в том, что я не Amazon или Google. Их веб-сайты генерируют большой трафик, а это означает, что небольшие подъемы, достигнутые этими легкомысленными тестами цвета кнопок, могут привести к миллионам долларов дохода.

Однако для большинства людей это пустая трата времени и ресурсов. Для большинства людей использование этого метода A / B-тестирования похоже на восхождение на Эверест в густом тумане с амнезией.

Эвристика восхождения на холм

В повседневной жизни мы сталкиваемся с проблемами, решение которых очевидно. Но что происходит, когда вы сталкиваетесь с незнакомым и во многом уникальным препятствием? Возьмем, к примеру, этот лабиринт:

В блогах нет сообщений о том, как лучше всего перемещаться по этому лабиринту. Ваш друг (скорее всего) не сможет помочь вам в этом. У тебя нет карты. Итак, как добраться из пункта А в пункт Б?

Ответ можно найти в компьютерной программе под названием «Решение общих проблем», созданной в 1963 году Ньюэллом, Саймоном и Шоу для изучения искусственного интеллекта. Их исследования также применялись для решения человеческих проблем. Доктор Расс Дьюи объясняет:

Ньюэлл и Саймон определили каждую проблему как пространство. На одном конце пространства - отправная точка, на другом - цель. Сама процедура решения проблем задумана как набор операций, которые пересекают это пространство, чтобы перейти от начальной точки к целевому состоянию, шаг за шагом.

В средстве решения общих проблем программа проверяет различные действия (которые Ньюэлл и Саймон называли операторами), чтобы увидеть, какие из них приблизят его к целевому состоянию. Оператор - это любое действие, которое изменяет состояние системы. Средство решения общих проблем всегда выбирает операцию, которая приближает его к цели. Эта тактика называется восхождением на холм, потому что она напоминает тактику постоянного шага к вершине холма или горы.

В приведенном выше лабиринте каждый тупик - это «пространство» - проблема, которую вам нужно преодолеть с помощью «операций», то есть действий, которые приближают вас к вашей цели (переход от «A» к «B»).

Итак, вы начинаете с точки «А» и следуете по пути, который, по вашему мнению, приведет вас к точке «Б» быстрее всего. Когда вы попадаете в тупик, вы возвращаетесь и пробуете альтернативный маршрут. Вы повторяете процесс, пока не достигнете своей цели.

Это то, что вы делаете, когда проводите A / B-тестирование небольших элементов. Вы определяете проблему, например, незаметную кнопку. Затем вы приближаетесь к своей цели по созданию лучшей версии целевой страницы после клика (по крайней мере, вы так думаете), проверяя то, что, по вашему мнению, является лучшим. Если это не сработает, вы протестируете другой.

Однако в какой-то момент вы достигнете точки убывающей доходности, называемой «локальным максимумом».

Локальный максимум и глобальный максимум

Причина, по которой вышеупомянутый метод называется эвристикой «восхождения на холм», заключается в том, что у него есть серьезное ограничение, из-за которого вы можете почесать голову на холме, глядя на вершину горы - там, где находится ваша лучшая целевая страница после клика. Доктор Дьюи объясняет:

Восхождение на холмы - простая стратегия, но она не всегда работает. Одна из потенциальных ловушек - это «проблема предгорья». Если вы выбираете любой шаг, ведущий вас в гору (или в определенном направлении), вы можете в конечном итоге подняться на подножие холма, которое находится между вами и горой, игнорируя гораздо более эффективную процедуру обхода. Другими словами, если вы идете прямо к цели без гибкости, вы можете заплатить высокую цену, потратить впустую много энергии или заставить себя больше работать, не способствуя достижению цели.

В терминах оптимизации этот «предгорье» называется «локальным максимумом». Это лучшая версия вашей текущей страницы, которая при дальнейшем тестировании A / B принесет убывающую отдачу. Вершина горы называется «глобальным максимумом». Это лучшая версия вашей целевой страницы после клика. Вот полезный рисунок для иллюстрации:

Начав с единственной целевой страницы после клика и A / B-тестирования небольших элементов по одному, чтобы улучшить ее, вы приближаетесь к этому локальному максимуму, но этот метод никогда не приведет вас к вершине этой горы. Так как же вам туда добраться?

A / B-тестирование для достижения глобального максимума

В сообщении блога под названием «Не попадитесь в ловушку мелочей A / B-тестирования» Рэнд Фишкин из Moz объясняет разочаровывающий сценарий, который может произойти слишком близко к дому:

Предположим, вы нашли страницу / концепцию, которая вас относительно устраивает, и начинаете тестировать мелочи - оптимизируя локальный минимум. Вы можете проводить тесты в течение 4-6 месяцев, добиваться улучшения общего коэффициента конверсии на 5% и чувствовать себя неплохо. До...

Вы тестируете еще одну большую новую идею и продолжаете совершенствоваться. Теперь вы знаете, что зря потратили время на оптимизацию и совершенствование страницы, общая концепция которой не так хороша, как новая грубая неоптимизированная страница, которую вы только что впервые протестировали.

Вместо этого Фишкин, как и другие влиятельные лица в маркетинге, рекомендует сначала провести «капитальный ремонт» и «большие идеи» A / B-тестирования - или, другими словами, протестировать совершенно разные страницы. Из этих радикально разных страниц та, которая показывает лучшие результаты, ближе всего к глобальному максимуму. Это то, что вам следует настроить с помощью многовариантного тестирования: кнопка против кнопки, заголовок против заголовка и т. Д. В нескольких тематических исследованиях поддерживается этот метод.

A / B-тестирование на глобальный максимум

1. Facebook

В 2008 году Facebook протестировал совершенно новый дизайн навигации. Их команда переместила его из левой части страницы в раскрывающийся список справа. Однако при этом они сделали приложения в навигации менее заметными для пользователей, что привело к гораздо меньшему трафику для этих приложений. Поскольку они были ценным источником дохода для Facebook, это было проблемой.

После попытки спасти новый дизайн с помощью нескольких уловок взаимодействия, команда оптимизации поняла, что достигла локального максимума, и отказалась от всего этого. От разработчика продуктов Facebook Адама Моссери:

То, что мы здесь делали, - это оптимизация для локального максимума. В рамках этой структуры было не так много трафика, который мы могли направить в приложения. А нам нужно было структурное изменение. Наше помещение было выключено. Наши интересы вели нас по ложному пути. Мы не осознавали этого […] мы оптимизируем для чего-то локально, и нам нужно было что-то помешать, чтобы как бы выбраться из этого.

2. млн унций

Эта страница варианта, созданная специалистами по коэффициенту конверсии для Moz, была в шесть раз длиннее оригинала. В нем было больше инфографики, другой заголовок и видео, а также другие элементы, которых не было на исходной странице. Он превзошел контроль на 52%.

Если бы команда работала только над улучшением элементов на исходной странице, они бы никогда не добавили контент, увеличивающий конверсию вдвое. От тестировщиков:

Анализируя эффективную личную презентацию Рэнда, мы заметили, что ему нужно не менее пяти минут, чтобы обосновать пользу платного продукта Moz. Существующая страница больше походила на минутное резюме. После того, как мы добавили ключевые элементы презентации Рэнда, страница стала намного длиннее.

3. Плотность серверов

Большинство тематических исследований A / B-тестирования, которые вы найдете в Интернете, связаны с внешним видом веб-страниц. Это цвет кнопки против цвета кнопки или изображение против изображения, и их количество растет с каждым днем. В результате большинство людей, которые погружаются в A / B-тестирование, полагают, что его можно использовать только для веб-дизайна.

Однако концепция A / B-тестирования может применяться ко всему, включая дизайн продукта или даже структуру ценообразования, как вы увидите на этом примере из Sever Density.

Компания, служба мониторинга серверов и веб-сайтов, позволяла своим клиентам платить в зависимости от того, сколько серверов и веб-сайтов им необходимо отслеживать:

Эта структура была предназначена для расширения клиентской базы, что она и сделала, но теперь внимание команды было направлено на повышение доходов. Итак, они A / B протестировали полную переработку своих цен на пакетной модели:

Новая структура фактически произвела меньше конверсий, но ценность каждой резко возросла. Вот результаты:

Средняя стоимость заказа была теперь более 55 долларов по сравнению со старым: 19,70 доллара. Выводы напоминают тестировщикам о двух важных вещах:

A / B-тестирование можно использовать не только для поверхностных изменений дизайна.
Конверсии - это еще не все. Иногда меньшее количество конверсий дает лучшие результаты.

Как найти глобальный и локальный максимум?

Помните: сила A / B-тестирования приближается к глобальному максимуму, насколько это возможно, с большими изменениями. Чтобы найти локальный максимум, лучше вместо этого использовать многовариантное тестирование.

Попались ли вы в ловушку тестирования строго одного элемента страницы за раз? Вносите ли вы несколько изменений за тест, чтобы найти глобальный максимум?

Узнайте, как обеспечить персонализацию рекламы 1: 1 для каждой вашей аудитории с помощью демоверсии Instapage Enterprise прямо сейчас.