Что такое A / A-тестирование и почему маркетологам это должно быть небезразлично?

Вы прошли через этот сценарий? Вы настраиваете A / B-тест, чтобы определить, приведет ли ваша новая комбинация кнопки и заголовка к увеличению конверсии…

Вы привлекаете равный трафик на обе целевые страницы после клика - контрольную и вариативную - и останавливаетесь через месяц, когда ваше программное обеспечение объявляет ваш вариант победителем с вероятностью 99% ...

Вы внедряете новый «выигрышный» дизайн, но через несколько бизнес-циклов это 50-процентное повышение коэффициента конверсии не влияет на вашу прибыль. Вы сбиты с толку. Вы раздражены…

И вы, вероятно, стали жертвой ложноположительного результата теста.

Что такое ложноположительный результат теста?

Почему повышение коэффициента конверсии на 50% не приводит к увеличению продаж? Причина, по словам Лэнса Джонса из Copyhackers, в том, что его, вероятно, не существовало.

Вполне возможно (даже вероятно), что вы не заметите роста продаж или доходов от вашего теста, потому что этого никогда не было. Возможно, вы неосознанно получили «ложноположительный результат» в своем тесте - это известная как статистическая ошибка типа I, иначе известная как неправильное отклонение истинной нулевой гипотезы. Это непросто, поэтому я просто помню это как ложное срабатывание.

Эти статистические ошибки первого типа встречаются гораздо чаще, чем вы думаете. Подсчитано, что около 80% результатов тестов AB являются воображаемыми.

Если вы принимаете ключевые решения на основе ложных срабатываний, в лучшем случае вы оставляете оптимизацию на волю случая. В худшем случае вы фактически ухудшаете коэффициент конверсии ваших целевых страниц после клика.

К счастью, есть несколько способов борьбы с опасными данными. Один из них похож на метод тестирования, с которым вы, вероятно, уже знакомы ...

Что такое A / A-тестирование?

A / B-тестирование включает в себя направление трафика на две разные страницы - исходную (ваш контроль) и другую версию (ваш вариант) - чтобы увидеть, какая из них работает лучше.

Аналогичным образом, A / A-тестирование предполагает направление трафика на две страницы, чтобы увидеть, какая из них работает лучше. Но в отличие от A / B-теста, A / A-тест сопоставляет две идентичные страницы друг с другом - и вместо обнаружения подъема их цель состоит в том, чтобы не найти разницы между вашим контролем и вариантом.

Зачем вам А / А тест?

Мы не обвиняем вас в том, что вы почесали затылок и задаетесь вопросом: «Что, черт возьми, можно сделать, сравнивая две идентичные страницы друг с другом?»

Это может показаться глупым, но это метод, который используют некоторые профессиональные тестировщики для тестирования своего A / B-теста перед тестированием. (Хм?)

Для получения точных результатов испытаний требуется нечто большее, чем статистическая значимость.

Кто угодно может провести A / B-тест, но немногие могут запустить действительный A / B-тест (помните: на самом деле только около 20% результатов тестирования являются допустимыми).

Получение точных данных испытаний требует большего, чем просто достижение статистической значимости при большом и репрезентативном размере выборки. Чтобы быть уверенным в своих результатах, вы должны убедиться, что образец не испорчен рядом угроз действительности.

Одна из этих угроз, инструментальный эффект, - это то , с чем лучше всего бороться с A / A-тестами.

Что такое инструментальный эффект?

Защита от угроз действительности начинается еще до того, как вы начнете A / B-тестирование. По словам Пип Лаха из CXL, инструментальный эффект отравляет большинство результатов тестов:

Это самая частая проблема. Это когда что-то происходит с инструментами (или инструментами) тестирования, что приводит к некорректным данным в тесте. Часто это происходит из-за неправильной реализации кода на веб-сайте и искажает все результаты.

Вот почему при настройке теста важно убедиться, что ваши инструменты правильно настроены и работают должным образом. В противном случае могут возникнуть следующие общие проблемы:

• Неправильная отчетность по ключевым показателям эффективности. Всего одна ошибка в одном инструменте может привести к беспорядку в ваших данных, поэтому никогда не следует полагаться на одну платформу для отслеживания всей вашей тестовой информации. По крайней мере, интегрируйтесь с Google Analytics, чтобы дважды проверить точность показателей, которые вы видите в своем тестовом программном обеспечении и отслеживании веб-сайтов. Для еще лучших результатов выполните тройную проверку с помощью другого инструмента. С подозрением относитесь к любым отчетам, которые не совпадают относительно близко.
• проблемы с отображением целевой страницы после клика. Небольшие ошибки в коде могут вызвать серьезные угрозы достоверности, например проблемы с отображением, во время A / B-теста. Вот почему так важно, чтобы ваши целевые страницы после клика выглядели так, как должны, на всех устройствах и в браузерах, и чтобы на ваших посетителей не влиял так называемый «эффект мерцания». Среди прочего, медленный веб-сайт может вызвать эту проблему, которая возникает, когда ваш элемент управления на мгновение отображается вашему посетителю непосредственно перед изменением.
• Слишком раннее прекращение теста. Некоторое программное обеспечение для тестирования преждевременно объявляет страницу-победитель - когда размер выборки недостаточно велик или не соответствует вашему целевому клиенту. Помните: достижение статистической значимости не означает, что пора прекращать тест. Чем дольше вы его запустите, тем точнее будут ваши результаты.

Любая из этих (и не только) проблем может привести к ложному положительному результату по завершении вашего теста, поэтому Peep предупреждает тестировщиков о бдительности:

Когда вы настраиваете тест, наблюдайте за ним как ястреб. Следите за тем, чтобы каждая цель и показатель, которые вы отслеживаете, записываются. Если какой-то показатель не отправляет данные (например, добавить данные о кликах в корзину), остановите тест, найдите и устраните проблему и начните заново, сбросив данные.

Но не все чувствуют себя комфортно, сразу переходя к A / B-тестированию обеими ногами, особенно при использовании нового программного обеспечения. Итак, в качестве дополнительной меры предосторожности некоторые практики проводят A / A-тестирование, чтобы оценить свои инструменты, прежде чем они начнут A / B-тестирование.

Если ваш эксперимент настроен правильно, в конце A / A-теста обе страницы должны появиться с одинаковым коэффициентом конверсии. Однако, как показывают следующие тестеры, это не всегда происходит.

Примеры A / A тестирования

Неужели ложные срабатывания так распространены? Может ли одна страница действительно превзойти своего клона? Эти ребята использовали A / A-тестирование, чтобы выяснить и раскрыть свои выводы в следующих сообщениях в блоге ...

1. Сплит-тест домашней страницы выявляет основные недостатки популярных инструментов тестирования.

11 ноября 2012 года команда Copyhackers начала сплит-тест A / A на своей домашней странице, изображенной ниже:

18-го - 6-го числа - их инструмент тестирования объявил победителя с уверенностью 95%. Однако ради точности команда решила позволить тесту поработать еще один день, и в этот момент их программное обеспечение объявило победителем с уровнем достоверности 99,6%:

Их домашняя страница работала почти на 24% лучше, чем та же самая страница , и, согласно программному обеспечению, вероятность того, что результат был ложноположительным, составляла всего 0,4%. Тем не менее, команда позволила тесту поработать еще около трех дней, и в конечном итоге различия сошлись:

Но дело не в этом. Дело в том, что инструмент тестирования слишком рано объявил победителя. Если бы команда Copyhackers не поддерживала его в рабочем состоянии, они бы ошибочно предположили, что в их эксперименте возникла проблема. Подробнее о тесте здесь.

2. A / A-тестирование: как я увеличил конверсию на 300%, ничего не делая

Это саркастическое название принадлежит автору и самопровозглашенному «выздоравливающему предпринимателю» Дэвиду Кадави, который провел ряд A / A-тестов в течение 8 месяцев на 750 000 подписчиков электронной почты. За это время он получил статистически значимые результаты, такие как:

Среди этих результатов были:

• Открытие электронной почты увеличилось на 9%
• Увеличение количества кликов на 300%
• На 51% ниже показатель отказа от подписки.

Он говорит:

Для многих желающих предпринимателей (в том числе и для моего бывшего я) это выглядит как «о, вау, вы увеличили количество открытий на 10%!» Они могут даже ввести его в калькулятор значимости Visual Website Optimizer и увидеть, что p = 0,048. «Это статистически значимо!» они (или я) могли бы воскликнуть.

По правде говоря, все это были A / A-тесты. Контент, протестированный друг против друга, был идентичным. Смотрите больше его результатов здесь.

Стоит ли проводить A / A-тесты?

Ответ на этот вопрос зависит от того, кого вы спрашиваете.

Нил Патель, который постоянно наблюдал значительный рост конверсии, который не означал увеличения дохода, говорит: «Очень важно, чтобы вы сначала провели A / A-тест, поскольку это поможет вам не тратить время на использование неточного программного обеспечения».

С другой стороны, Пип Лаха из CXL говорит, что сами A / A-тесты - пустая трата времени. Так кто же прав?

Две основные проблемы с A / A-тестированием

С теоретической точки зрения, A / A-тестирование имеет большой смысл. Прежде всего, точность наиболее важна при проведении A / B-теста, и тестирование вашего теста - лишь один из многих способов убедиться в этом.

Однако в реальных условиях тестирования A / A-тесты могут принести больше вреда, чем пользы. Крейг Салливан объясняет:

Для меня проблема всегда заключается в том, чтобы съедать реальный трафик и время тестирования из-за необходимости предварительно загружать время выполнения теста с периодом A / A-тестирования. Если я попытаюсь проводить 40 тестов в месяц, это подорвет мою способность запускать материалы вживую. Я лучше проведу полдня на QA-тестирование эксперимента, чем проведу 2-4 недели A / A-тестирования, чтобы проверить его соответствие.

Это проблема первая. A / A-тесты требуют реального времени и трафика, которые вы можете использовать, чтобы узнать больше о посетителях вашего сайта с помощью A / B-тестов.

Проблема вторая проиллюстрирована в тематическом исследовании Copyhackers. Как и A / B-тесты, A / A-тесты необходимо разрабатывать и тщательно контролировать, поскольку они также подвержены ложным срабатываниям.

Другими словами, ваш A / A-тест может сказать вам, что одна страница работает лучше, чем другая, когда это не так (этот шанс намного выше, чем вы думаете - около 50%).

Если бы команда Copyhackers прислушалась к своему инструменту тестирования и объявила победителя всего через шесть дней, они бы потратили еще больше времени, пытаясь выяснить, почему их домашняя страница работает лучше, чем ее идентичный близнец (хотя на самом деле это не так). .

Основное преимущество A / A-тестирования

Несмотря на эти проблемы, A / A-тестирование может помочь вам выявить еще более серьезные проблемы во время реальных тестов. Когда вы принимаете важные бизнес-решения на основе результатов этих тестов, это серьезное преимущество, которое следует учитывать.

Если вы все же решите пройти A / A-тест, есть потенциально менее расточительный способ его проведения, который называется A / A / B-тестированием.

A / A / B-тестирование по сравнению с A / A-тестированием

Традиционный метод A / A-тестирования тратит трафик, потому что по завершении он ничего не говорит вам о ваших посетителях. Но если вы добавите к этому тесту вариант «B», это возможно. Вот разница между ними:

• A / A test = 2 идентичные страницы, протестированные друг против друга
• A / A / B тест = 2 идентичных страницы и один вариант, протестированный друг против друга.

Тест A / A / B разделяет ваш трафик на три сегмента, а это означает, что для достижения статистической значимости потребуется больше времени. Но положительным моментом является то, что как только вы это сделаете, у вас будут данные как о вашем инструменте тестирования, так и о ваших посетителях.

Сравните результаты A и A, чтобы определить, можете ли вы доверять своему тесту. Если они статистически схожи, сравните результаты A и B. Если это не так, вам придется выбросить результаты всего теста (для выполнения которого потребовалось больше времени, чем для традиционного A / A-теста. поскольку ваш трафик сегментирован по трем направлениям).

Перевешивают ли преимущества A / A-тестирования недостатки?

Некоторые эксперты говорят «да», а другие - «нет». Эндрю Первый из Leadplum, кажется, думает, что ответ находится где-то посередине:

A / A-тестирование, вероятно, не должно проводиться ежемесячно, но когда вы настраиваете новый инструмент, стоит потратить время на тестирование ваших данных. Если вы перехватите неверные данные сейчас, вы будете более уверены в результатах тестирования через несколько месяцев.

В конечном итоге решать только вам. Если вы используете новый инструмент, возможно, стоит прислушаться к совету Эндрю. Однако, если вы этого не сделаете, вероятно, лучше последовать примеру Крейга Салливана и вместо этого создать строгий процесс предварительного тестирования QA. Сэкономьте свое время, ресурсы и трафик для A / B-тестирования.

Получите максимальную отдачу от своих усилий по тестированию и цифровых рекламных кампаний, подпишитесь на демонстрацию Instapage Enterprise сегодня.