Байесовское A/B-тестирование: мощная модель рассуждений

A/B-тестирование идет рука об руку со стратегией CRO каждого маркетолога. Будучи маркетологом или практиком CRO, вы не можете недооценивать ценность внедрения культуры экспериментирования в своей организации. Тем не менее, поиск оптимального варианта для достижения более высоких конверсий остается постоянной проблемой для онлайн-бизнеса.

В своей классической форме A/B-тестирование работает как бинарная модель — нулевая гипотеза, которую необходимо отвергнуть, чтобы принять альтернативную гипотезу. Из-за сложного процесса извлечения информации из эксперимента и принятия на его основе важных бизнес-решений специалисты по CRO предпочитают более надежную и интуитивно понятную модель, а не классическую модель Frequentist. Это байесовская модель.

Байесовская модель подтверждает обоснованность проводимого вами эксперимента. В этом сообщении блога мы подробно изучили байесовскую модель, сравнили ее с классическим подходом Frequentist и обсудили варианты ее использования.

Что такое байесовский подход?

Байесовское рассуждение — это, по сути, подход, основанный на убеждениях, основанный на теореме Байеса. Теорема представляет собой математическую основу для обновления ваших существующих убеждений с притоком новой информации.

Вот вам пример. Врач может диагностировать медицинскую проблему у пациента, используя любой из подходов. Как частый врач, у него будет фиксированная модель, настроенная на конкретные симптомы пациента для его диагноза. Он может прощупать пациента на предмет их и определить причину на основе имеющейся у него фиксированной модели.

Напротив, как байесовец, у врача все равно будет модель. Он прощупывал пациента для оценки его состояния и выявления симптомов, и, кроме того, он хотел бы знать историю любых прошлых болей у пациента . Следовательно, его диагноз будет включать текущие симптомы и исторические симптомы при определении фактической причины. Этот подход обновит его существующую модель новой информацией, что может привести к более быстрому внедрению инноваций без дополнительных затрат, времени или энергии, затрачиваемых на процесс диагностики.

Пример из StackExchange делает эту концепцию еще проще.

Скажем, вы потеряли свой телефон, и, поскольку это происходит постоянно, у вас есть локатор телефона. К вашему телефону прикреплен инструмент, который сигнализирует, что он начинает издавать звуковой сигнал, когда вы нажимаете кнопку на локаторе телефона. Проблема в том, с чего начать поиск в доме?

Если вы Frequentist, ваша встроенная модель будет определять область на основе направления звуковых сигналов. Таким образом, вы будете бегать за гудками, чтобы найти местонахождение устройства в доме.

Тем не менее, как байесовец, вы бы вспомнили места, где вы нашли его в прошлый раз, когда он пропал без вести. Вы нашли его на кухонной плите или закопали под бельем? У вас будут причины класть телефон в эти места. Помимо звуковых сигналов, запоминание этой информации будет выступать в качестве предварительной информации, которая может помочь вам принять решение, основанное на фактических данных. В этом случае он сам разберется, с чего начать поиск.

Важнейшим аспектом байесовского мышления является то, что оно позволяет вам исследовать ранее существовавшие убеждения (априорные) во время вашего исследования, и эти убеждения обновляются с помощью фактических данных, что приводит к новым убеждениям (апостериорным).

В контексте A/B-тестирования, почему байесовский подход более выгоден, чем Frequentist?

Вы можете услышать, как Фреквентист, не любящий говорить о разовых событиях, бормочет: «Правильно ли я пришел к истине?». Напротив, байесианца, который больше заботится об обновлении мнения на основе данных, чем о поиске истины в последней инстанции, можно услышать вслух, заявляющим: «Я не знаю, в чем правда, но я верю, что мое первоначальное мнение изменилось бы теперь, поскольку У меня с собой новая порция информации!» Довольно уверенно? Ну да!

Мы провели A/B-тест с использованием VWO, чтобы проверить, может ли баннер, появляющийся при выходе посетителей, увеличить лидогенерацию в нашем блоге. Глядя на это через призму Байеса, мы видим разную степень уверенности во всех возможных коэффициентах конверсии в графическом представлении. Мы пришли к выводу, что контроль (без баннера) лучше, а также коэффициент конверсии перекрывается между 0,25% и 0,6%.

С другой стороны, подход Frequentist дал p = 0,042, что также сделало вывод о том, что контроль является победителем.

Подход Frequentist позволяет значительному количеству посетителей возвращать p -значение, которое трудно представить в бизнес-контексте. Что здесь можно различить при p = 0,042? Это, вероятно, оставит вас в замешательстве.

Как маркетолог или лидер роста, вы хотели бы, чтобы ваш инструмент выполнял тяжелую работу, когда дело доходит до статистики, и давал вам результаты, которые помогали бы вам принимать правильные бизнес-решения.

Байесовский подход обеспечивает более разумный и интуитивно понятный способ оптимизации ваших усилий по оптимизации конверсии. Он обновляет ваши мнения, подкрепленные доказательствами, когда вы делаете свой прогноз и вызываете обучение в цикле эксперимента с обновлением знаний, как показано на рисунке ниже.

VWO SmartStats — байесовский подход

VWO идет по байесовскому пути с помощью SmartStats, статистического механизма на основе байесовского подхода для A/B-тестирования. Этот механизм дает вам интеллектуальные результаты для принятия более разумных бизнес-решений и сокращает время тестирования.

Байесовский подход позволяет итеративно включать знания в эксперименты. SmartStats катализирует этот подход, используя неинформативную априорную оценку, при которой все возможности коэффициента конверсии равновероятны. Кроме того, он гарантирует, что вы сохраняете контроль и можете контролировать тест по мере его продвижения и достижения своей значимости в течение определенного периода времени, прежде чем он завершится.

Вернемся к примеру баннера с намерением выхода, обсуждаемому в блоге. Для теста мы заметили, что изначально распределения были шире. Однако, как показано ниже, вы можете понять, что они начали уменьшаться с увеличением количества данных.
Вероятность превзойти базовый уровень в начале теста была близка к 50%, но по мере прохождения теста она достигла 95% достоверности после достижения 1000 посетителей, объявляя контрольную группу победителем.

Если вы посмотрите на ход этого эксперимента с точки зрения времени и трафика, он выглядел следующим образом с наименьшим количеством посетителей, показывая вариацию опережения (незначительно):

И это при ~ 1000 посетителей, резком падении вариации и расширении контроля:

Окончательный график, объявляющий контроль победителем:

Как байесовское A/B-тестирование ускоряет внедрение инноваций?

Байесовский подход, позволяющий использовать убеждения как часть эксперимента, позволяет вам принимать более быстрые решения с меньшими затратами на эксперименты по сравнению с частотным подходом.

Обычно байесовский подход используется там, где проведение эксперимента обходится дороже, а у вас недостаточно данных для принятия решения, будь то медицинский диагностический тест для определения вероятности наличия рака или спам в электронной почте.

Кроме того, байесовский подход позволяет подавать апостериорные данные одного эксперимента как предшествующие другому. Таким образом, инструмент A/B-тестирования, основанный на этой модели, позволяет последовательно и быстро оптимизировать эксперименты для конверсий. Вам не нужно каждый раз узнавать новые данные из своего эксперимента, вместо этого итеративно передавайте апостериорную (читай: обновление) априорную информацию, чтобы значительно определить улучшение с меньшим количеством данных.

Что касается эксперимента с баннером «выход-намерение», который широко обсуждался в блоге, мы приняли быстрое решение, наблюдая за ходом теста, как только он достиг своей значимости. Мы сделали это, чтобы смягчить потерю метрики возможностей, которой в данном случае были MQL. Тест завершился наблюдением, что в нашем блоге баннер с намерением выхода не работает. Это наблюдение может выступать в качестве подтвержденного данными (апостериорного) доказательства, которое будет использоваться перед нашими последующими экспериментами с блогами.

Так что не ждите. Сделайте решительный шаг, быстро терпите неудачу, эффективно учитесь и экспоненциально развивайтесь с помощью итеративного A/B-тестирования, которое обещает возможности для инноваций в вашем бизнесе, чтобы стать свидетелем астрономических конверсий.