如何用A/B测试分析分析A/B测试结果

已发表: 2022-12-15

任何人最不想要的就是误报——无论测试如何！ 通过转化率优化 (CRO) ，误报可能会导致死胡同。

当您进行A/B 测试时，您想知道您的测试页面 (B) 是否真的优于您的控制页面 (A)，然后再花时间调整表单、页面或网站的其他方面。

A/B 测试分析技术将有助于确定您的测试是否具有统计显着性，以及您手头是否有一组成功的数据。

您如何知道您的 A/B 测试是否具有统计显着性？

统计显着性意味着您可以重复测试并始终如一地收到相同或相似的结果。

例如，假设您更改了号召性用语 (CTA) 按钮的位置。 该按钮过去位于您的着陆页内容下方，但您假设如果将按钮放在前面和中间，您会收到更多潜在客户。 因此，您调整了页面并将按钮放在主标题上方。

接下来，您对 1000 名访问者测试了之前的登录页面（控制页面）。 从那里开始，您对另外 1000 名访问者测试了调整后的页面。 在使用 A/B 测试计算器测量结果后，它显示在页面上向上移动 CTA 按钮后点击次数增加了 25%。

如果您多次重复测试并继续获得大约 25% 的点击次数增加，您可以合理地假设您的结果具有统计显着性。 您还可以假设更改 CTA 按钮的位置是导致更改的原因。

你如何分析你的 A/B 测试？

虽然 A/B 计算器并不是 A/B 测试分析的万能工具，但它们可以帮助您理解所收集的数据。

假设您拥有一家小型企业。 您的平均网站访问者数量在每周100至500 名用户之间。 您对着陆页的 CTA 按钮进行了类似的 A/B 测试——但样本量为 100 人而不是 1000 人。

您的结果发现 100 人中有 50 人点击了原始页面的 CTA 按钮。 在测试页面上，有 58 人点击了按钮。 虽然这种增加对于样本量来说似乎很重要，但根据 A/B 计算器，它只有 16% 的变化。

在运行 A/B 测试之前你应该做什么？

在我们开始我们的示例场景之前，这里是您在收集任何数据之前应该做的事情的简要说明。

1. 了解你的目标

您的关键绩效指标(KPI) 是什么？ 换句话说，哪些对话能为您的业务带来最显着的成果？ 这些指标可以是从销量到客户保留率的任何指标。 专注于针对您的 KPI 的变化将带来最佳结果。

2. 知道你在哪里——以及你想去哪里

一旦你知道你想要衡量什么，找出你目前的立场。 如果您衡量过广告点击次数、打开的电子邮件数量或每月有多少潜在客户填写您的联系表，您可能已经有了大致的了解。

查看您的CRM和Google Analytics以衡量数据的现状。 当前数据应该让您了解哪些改进是必要和现实的。

如何知道您的测试是否具有统计意义（不使用 A/B 计算器）

现在进入有趣的部分——A/B 测试分析。 执行上述步骤后，除了运行试验和收集数据外，您还可以确定结果是否足够重要以进行更改。

好消息是您仍然可以使用 A/B 计算器作为起点。 在我们之前谈到的小型企业的 100 名网站访问者中，由于移动了 CTA 按钮的位置，点击次数增加了 16%——据推测。 现在，我们怎么知道这是不是真的？

1.重新运行测试

每当您运行 A/B 测试时，如果变化不显着，您将需要重新运行测试 — 例如，如果结果差异低于 36%。

一般来说，最好重新运行 A/B 测试，这样您就有足够的数据来断定结果是您所做更改的直接结果。

2.再次分析数据

假设在这次重新运行之后，结果是 100 人中有 60 人点击了测试页面的 CTA 按钮，52 人点击了原始页面。 根据计算器，增加了 15.38%。

3. 再运行一次测试（并分析结果）

这个结果与第三次 15-16% 的变化相似。 但是，在您开始实施更改之前，请再测试一次您的结果。

当您使用较小的样本量时，很难知道一致的变化是否是巧合。 通常，样本量越大，您的统计能力就越大。

4. 运行另一个 A/B 测试——针对自身测试您的控制页面

从技术上讲，这样的评估将被视为 A/A 测试。 在一组 100 名访问者上测试您的控制页面，并在另一组 100 名访问者上测试同一页面。 您可以在测试更改之前或之后执行此操作。

在未实施任何更改的情况下，您的 CTA 点击次数的自然差异不应超过 2%。 此范围说明了您的网页收到的点击次数的自然波动。 任何超出此范围的变化都可以合理地假设为显着。

现在您有足够的数据，是时候看看它是否勾选了三个框。 判断数据是否：

  • Sufficient：是的，我们跑了三遍测试。
  • 一致：是的，我们三次收到类似的结果。
  • 差异化：是的，我们针对自身测试了控制页面，发现自然变化介于 -2% 和 2% 之间——这意味着我们测试页面的点击次数持续增加 15% 是很重要的。

根据这些结果，我们可以确定数据具有统计显着性。 我们还可以合理地假设 CTA 按钮位置的变化是点击次数增加的原因。

WebFX 是企业信赖的合作伙伴。

听听 HydroWorx 的说法，他们发现使用 WebFX 服务的有机会话增加了236% 。

观看视频见证

与 WebFX 合作进行 A/B 测试分析

如您所见，A/B 测试分析可能是一项艰巨的任务，尤其是当您不确定哪些更改会带来最佳结果时。 我们在 WebFX 的 500 多名主题专家团队使用数据驱动的 SEO 策略通过我们的 A/B 测试服务创建有影响力的登陆页面。 我们已经为客户带来了超过 30 亿美元的收入，我们已准备好将您的目标网页提升到一个新的水平。

立即在线联系我们或致电888-601-5359与我们的策略师交谈！