为 A/B 测试建立单一事实来源 (SSOT) 的最佳实践

您的 CX 测试取决于您的数据质量。 你不能使用有问题的数据形成有效的、可检验的假设。 如果您不知道自己正在查看准确的指标，您将无法相信测试的结果。

这就是为什么您需要围绕单一事实来源 (SSOT) 数据集构建测试程序的原因。 如果你做不到，即使是最简单的 A/B 测试也将缺乏价值。 本文探讨了为什么建立 SSOT 如此重要，并分享了我们在 Kameleoon 开发的一些经过现场测试的最佳实践。

什么是 SSOT

现代商业决策必须是数据驱动的。 维护 SSOT 意味着对于 CX 实验或任何其他功能，您将一个数据源标准化为确定的“真理”，您围绕该数据源开展该团队的工作并为公司的决策提供信息。

如果没有 SSOT，您就有可能将数据分散到由不同团队为不同功能保护的孤岛中。 没有标准化，没有共识，也没有办法知道是否有人根据最佳可用信息做出决定。

SSOT 不是特定的技术或系统。 这是一种旨在从团队活动中获得最佳结果的商业实践。 一些公司通过转向 SSOT 数据策略而节省了数百万美元，甚至无需触及基础工作。

研究表明，高质量的客户行为指标仍然是为战略决策提供信息的最受欢迎的数据。 连续几年，在普华永道的年度 CEO 调查中，CEO 将其视为他们想要进行战略规划的最重要指标。

什么是 A/B 测试

A/B 测试是一种通过比较原始版本（A 或控制版本）与修改后的 B 版本的性能来试验网站、移动应用程序或广告的方法。 目标是收集每个版本的性能数据，进行统计分析，并根据数据确定哪个版本的性能最好。
A/B 测试不仅仅用于测试单个网页元素。 例如，您可以使用它来优化定价、验证产品功能以及针对不同的访问者细分个性化网站。 此外，A/B 测试是许多其他 CX 优化技术的基础，包括多变量测试、产品推荐和基于配置文件的定位。

谁需要 SSOT 进行测试？

实验团队正在浏览其分析平台、CRM、测试平台等生成的数据。 他们需要建立一个 SSOT 进行测试，以阐明他们的团队想要做什么。 让我们考虑一个例子。

Kameleoon 的一位客户发起了一项活动，以优化其网站的搜索功能。 他们进行了服务器端测试，包括跟踪访问页面的流量。

但他们遇到了许多实验程序面临的问题：Google Analytics 中的数据显示了一个页面访问次数，而他们的实验工具显示了另一个。 差异超过 9%。

作为一个每月访问量超过一百万的电子商务网站，决定信任哪个数据集对公司的 KPI 报告产生了重大影响。 虽然一些中型和企业品牌可以忽略访问者统计数据中高达 10% 的差异，但 9% 的数据差异让这家公司的实验团队感到紧张。

这个团队最近才获得他们的实验计划的支持，包括投资于 Kameleoon 等工具的预算。 他们希望得到明确结论的测试。 相反，他们数据的准确性值得怀疑。 他们需要建立一个SSOT。

我们帮助这家公司清理了他们的访客数据跟踪，建立了 SSOT 并获得了他们成长所需的测试结果。 为此，我们帮助他们采用了七项​​ SSOT 最佳实践。 我们在这里分享这些最佳实践，因为任何想要处理他们的测试数据并从他们的实验计划中获得最大收益的 CX 团队都可以使用这些来成长。

消除测试数据差异和建立 SSOT 的最佳实践

1. 在你做任何事情之前，先进行一个 A/A 测试

A/B 测试比较您的产品或页面的旧版本和新版本，而 A/A 测试比较类似和类似。 你为什么想做这个？ 所以可以比较各个监控平台生成的数据。

在 A/A 测试中，两种变体是相同的，但看到它们的用户会有所不同：

如何采取行动

在进行任何严肃的 A/B 测试或推出要收集数据的新实施之前，请运行 A/A 测试以进行校准。 在理想情况下，您的 A/A 测试将返回相同的结果。 实际上，这种情况很少发生，但您仍然会了解您正在处理的差异有多大。

例如，运行 A/A 测试可让您查看 Google Analytics（分析）在相同会话、用户、访问、转化或您想要衡量的任何指标中与您的测试工具进行比较的指标。

2.在所有工具中以相同的方式跟踪访问者和访问

您的分析工具跟踪的访问者或访问数量永远不会与用户和会话精确匹配。 但是，您可以确保在分析和 A/B 平台中以相同的方式计算访问次数，以减少差异。

在 Google Analytics 中，访问有两种结束方式：

• 基于时间的过期：在这里，会话在 30 分钟不活动或午夜后过期。 然而，例如，在 Kameleoon，它是在 30 分钟不活动之后。

• 活动更改：如果同一访问者通过一个活动到达，2 分钟后离开，然后在 2 分钟后通过另一个活动返回，Google Analytics 将计算两次访问。 一些 A/B 测试工具会将其视为一种。

如何采取行动

检查在您的分析工具中如何计算访问者和访问次数，并确保它与您的测试工具相同。 或者你可以改变它。 在 Kameleoon，我们建议使用您的分析平台作为唯一的事实来源。

在 GA 中，您可以在会话设置下编辑会话和广告系列超时的时间。

为什么？ SSOT 应在组织级别进行定义。 因此，即使您的测试团队整天都在处理您的测试平台中的数据，其他团队可能仍需要出于其他目的参考 GA 中的数据。 将 SSOT 设置为组织中最广泛的团队引用的数据集。

3. 在您的分析工具中创建浏览器和版本过滤器

许多 A/B 测试平台不在 Internet Explorer 上运行，因此该浏览器中的任何访问都会自动从实验报告中排除。 但是，如果您针对使用它的大型遗留组织，IE 仍然可能导致数据差异。

另一个潜在的跟踪问题是 Google Analytics 与所有浏览器版本兼容，而 A/B 测试工具通常仅与最后几个版本保持完全兼容。

如何采取行动

在 Google Analytics 中，根据浏览器和您关心的浏览器版本创建自定义过滤器，以便所有平台匹配。 你这样做

例如，在“查看”下，排除旧版 Google Chrome 的方法如下：

4. 在所有工具中过滤有问题的流量

仅从合法受众成员收集数据，尽可能保持您的 SSOT 数据集干净。 您不想让机器人、巨魔、跟踪器错误或其他异常流量混淆您的数据。 不要担心数量减少，您的结果质量会提高。

如何采取行动

高级 A/B 测试工具提供了多种开箱即用的机器人过滤设置。 例如，如果他们检测到异常行为或会话陷入可疑活动条件，他们可以自动从收集的统计数据中删除流量。

另一方面，如果您使用的是 GA，则由您决定如何使用过滤器从您的分析数据中检测和排除机器人流量。 作为参考，这里有一些您可能想要排除的条件。

• 参观时间 > 120 分钟
• 访问时间 < 100 毫秒
• 事件数量（转化、点击、定位、产品、页面浏览等）> 10K

您还希望排除组织内部的内部流量。 请记住，构建此 SSOT 数据集的目标是获得有关您的实际客户的明确数据源，而不是您的同事。

要过滤 GA 中的内部流量，请转到管理面板 > 所有过滤器并创建一个新过滤器。 将过滤器类型设置为“未定义”。 然后，添加您要排除的内部 IP 范围。

5.避免广告拦截器

许多访问者使用 Adblock、Ghostery 和 uBlock 等广告拦截器。 一些广告拦截器还可以拦截客户端跟踪器，包括来自实验工具的分析事件。

如果您的大部分访问者在他们的浏览器中启用了广告拦截器，那么记录的访问次数很可能会因您的 A/B 测试工具和分析平台而异。

如何采取行动

一些平台可以提供“本地”跟踪请求 URL，使它们能够避免被广告拦截器阻止。 在这里，跟踪发生在服务器端，因此客户端代码阻止（例如来自广告拦截器）不会停止合法跟踪。 在所有可能的平台上激活它。

另一种更好地了解分析和测试平台之间差异的方法是在测试工具加载后向分析平台发送事件。 这应该让您清楚地了解使用阻止您的 A/B 测试工具的广告拦截器的访问者百分比。 然后，您将不得不过滤您的流量以排除使用广告拦截器的访问者。

6. 在所有相同的页面上安装您的工具

代码段放置是数据差异的常见根本原因，尤其是在您要运行针对整个站点的实验时。 原因是许多实验工具将“整个站点”视为携带其代码片段的所有页面。 不幸的是，如果您在那里复制了片段，那甚至可能包括您的登台站点。

如何采取行动

如果您还没有，现在是运行该 A/A 测试以校准您的平台的好时机。 然后，确保您的所有工具都在相同的页面上实现。

识别它们是否不是的一种方法是按访问的页面 URL 分解您的数据。 这将向您显示运行实验的所有主要 URL，以便您可以识别那些不应该加载测试工具的 URL。 以下是此选项在 Kameleoon 中的外观：

最后的想法

经过仔细分析，Kameleoon 确定存在数据差异的客户遇到了最后一个问题。 谷歌分析和他们的测试工具没有在同一个页面上运行。

尽管 GA 会跟踪所有访问其搜索结果页面的流量，但他们将测试工具配置为更窄的参数——实验仅在搜索栏中搜索后才计算访问页面的访问次数。

虽然两个页面看起来相同，但 URL 不同，从而产生了数据差异。 然而，一旦解决，他们就有了一个可靠的 SSOT 来测试数据，并产生许多有价值的见解。

通过识别测试工具中的开箱即用设置与您的分析跟踪不一致的地方，您可以决定要报告的访问者数量或如何使用您的设置来最小化差异。

消除差异，建立单一的事实来源，并围绕一个通用数据集召集您的团队。 建立 SSOT 是更好、更可靠和更有洞察力的测试的第一步。