这是 MailChimp A/B 测试在自动化广告系列中的可能方式

这篇文章最初于 2016 年作为 Edgar Learn 系列的一部分发布，我们在其中分享了帮助我们取得成功的策略。 尽管自那以后发生了很多变化，但我们在 2016 年发现的用于 A/B 测试的 MailChimp hack 似乎今天仍然有效，因此我们决定将其保持在线供您尝试。

我们非常喜欢在 MeetEdgar 的 MailChimp。 毫无疑问，它是我们业务中最重要的工具之一。

但是当我们开始真正深入研究 MailChimp A/B 测试并发送 MailChimp 测试电子邮件时，我们遇到了一个小问题。

MailChimp 不允许对自动化活动进行 A/B 测试，到 2021 年仍然如此。它们只允许对单个电子邮件进行多变量测试。

这是有道理的——A/B 测试的基本规则是您一次只想更改一个变量，而自动化活动的本质（连续发送几封电子邮件，自动）使得这很难做到。

但是，有志者事竟成，我们发现了一个小技巧，您可能希望将其添加到您的 MailChimp 黑客库中。

如何破解 MailChimp A/B 测试

例如，如果您有一系列三封电子邮件，并且您想测试对所有三封电子邮件的更改，您需要设置一个看起来像这样的测试：

其中“控制”是电子邮件的标准版本，“测试”是电子邮件。

这是九种不同的变体，这意味着我们将以九种不同的方式分割流量，这意味着需要一段时间才能获得有意义的样本量。 而且由于这些系列中的每一个都需要几天时间才能完成，因此我们需要很长时间才能正确运行每个测试。

所以我们决定稍微捏造一些东西，让我们的测试看起来像这样：

请不要对我们打电话给测试警察！ 我们知道这不是 A/B 测试 MailChimp 的最科学方法。

除了一般的简单性和测试速度之外，我们的理由是我们也在寻找对转换率的重大改变。 当你正在寻找一个大的改变时，准确地隔离你在测试中改变的元素变得不那么重要了。

我们如何欺骗 MailChimp 运行这些测试

因为 MailChimp 的设置根本不允许我们在自动电子邮件上运行测试，所以我们必须想出一个解决方法。 所以这就是我们所做的……

我们的测试主要集中在我们的邀请系列上。

当您访问 MeetEdgar.com 时，您被邀请注册以获取使用 Edgar 的邀请。 当您注册邀请时，您被分配了一个编号（测试变体）。 这是通过我们的 WordPress 专家开发的一些幕后魔术来完成的。

当我们在 MailChimp 中为测试活动创建细分时，我们使用此测试变体编号将您分成测试组或对照组。 然后我们向您发送了适当的滴灌活动。

发明测试变体编号之前的时刻。

再次参考上面的示例，如果我们进行按惯例进行的科学研究，我们将需要九个这样的组来测试我们测试流程的九种不同变体。 但在我们的简化版本中，我们只需要两个测试变体即可获得我们想要的结果。

所以我们可以给每个人分配一个或两个。 但这不是哈克曼会做的！

相反，我们给每个人分配了一个 1 到 6 之间的数字。 这有助于确保组之间更均匀（和随机）的划分，并且如果我们感觉特别……暴躁，也可以进行三向划分测试。

一个人，三个人，三个人进入我们的对照组，并收到了我们通常发送的相同电子邮件。 四，五，六进入实验组，接受我们全新的流程。

MailChimp 的 Segment 工具如下所示：

我们使用测试变体来划分我们的观众。

请注意，您只需为自动化系列中的第一封电子邮件执行此操作！ 所有其他电子邮件都连接到此电子邮件，从而更容易拆分流进行测试。 谢谢，MailChimp！

我们如何衡量成功

我们组合测试过程中最棘手的部分是测量结果。

我们主要关注两个方面：打开率和点击率。

打开率是打开每封电子邮件的人数，点击率是点击每封电子邮件中链接的人数。 这些显然是重要的统计数据，对吧？

衡量成功的原因是因为我们需要使用具体的数字，但 MailChimp 以百分比的形式给出这些数字。 因此，我们构建了一个电子表格，其中包含百分比和发送的电子邮件总数，并返回实际的点击和打开数字。 它看起来像这样：

不用担心，我们将在一秒钟内解释这些列！

那么为什么我们需要实际的打开次数和点击次数呢？ 因为我们随后将这些数字输入 VWO 的 A/B 拆分测试显着性计算器，以查看我们的结果是否具有统计显着性。

看起来是这样的：

在不涉及数学的情况下，这个计算器基本上可以确定您的样本量是否足够大以显示真正的变化。 在上面的例子中，它们不是——这就是为什么我们的“重要”？ 电子表格中的列也显示“否”

我们继续运行测试并将数字手动输入电子表格和计算器，直到它显示出重要性，或者我们认为它已经持续了足够长的时间以表明更改没有真正的影响。 有时，这也是非常有价值的一课！

迄今为止我们最大的一课

我们从我们的黑客测试中收集了很多有用的信息，包括一些经典的 MailChimp 主题行测试和围绕特定电子邮件内容的更改。 但在整体方案中，到目前为止，我们最有价值的学习来自一个没有显示性能显着变化的测试——我们在上图中作为示例使用的测试完全相同。

在这个测试中，我们两个活动之间唯一不同的是每封电子邮件之间的时间量。 在我们的控制下，我们在大约一个月的时间内分发了三封电子邮件。 在我们的测试中，我们将该时间表压缩到 10 天。

你猜怎么着？ 结果几乎相同。

从本质上讲，我们了解到我们可以将介绍性电子邮件活动的时间范围减少到其原始长度的大约三分之一，而不会产生负面影响。 所以这当然成为了我们的新标准！ 这无助于更快地吸引新客户，但也使我们未来的测试运行得更快。 这就是那种在未来可以很好地派发红利的事情。

也想和 MailChimp 一起玩吗？ 然后试一试这个自动化的广告系列测试技巧！

您是否尝试过在 MailChimp 中测试自动化活动？

如果您在 2016 年阅读了这篇文章并尝试了我们的测试技巧，我们很想听听您的进展情况。 你有没有发现一些有用、有趣、有趣的东西？

如果您现在是第一次尝试这个小技巧，请在评论中告诉我们您的反馈！ 我们喜欢从您的实验中学习。