使用古印度占星术预测 A/B 测试结果

我们 VWO 的使命是帮助营销和产品团队减少确定什么最适合他们的业务以及什么不适合所需的时间和精力。 2010 年，我们为业务团队开创了 Do-It-Yourself 可视化编辑器，用于编辑网页并为 A/B 测试创建变体，而无需 IT 团队参与。 这项创新将启动 A/B 测试的工作从数周缩短到数小时，而 A/B 测试行业从那时起就变得不一样了。

但是，任何进行过 A/B 测试的人都知道，您仍然需要等待数周才能开始获得关于哪个版本更好的统计显着结果。

我们一直在想是否有办法缩短这个等待时间。 如果有一种方法可以立即知道哪个版本会胜出，而无需等待数周或数月的数据到达，那不是很好吗？

人工智能可以提供帮助吗？

我们首先转向的研究方向是蓬勃发展的人工智能技术。 你肯定听说过神经网络、机器学习和数据科学。 一种这样的技术可以帮助我们吗？ 如果今天神经网络可以驾驶汽车，也许他们也可以预测哪个网站版本更好？

在过去的几年里，我们尝试了几种技术并投入了大量资金来试图让其中一种人工智能技术发挥作用。 几个月前，我们确实取得了一些进展，我们推出了一个由人工智能驱动的网站文案，帮助营销人员提出新的替代标题、CTA 和产品描述进行测试。

但是，不幸的是，类似的基于 AI 的技术在 A/B 测试结果的预测上表现并不令人满意。 与预测哪个网站设计将是更好的选择相比，驾驶汽车、击败世界围棋冠军和检测肿瘤似乎是一个更容易的问题。

进入 IA

当我们几乎要放弃我们梦想的项目时，有人指给我们看房间里的大象：占星术。 我们的第一反应是立即驳回这个荒谬的建议。 我们是一群持怀疑态度的人，在像我们这样严肃的企业中，这种伪科学是没有容身之地的。

但我们绝望了，决定最后一次尝试这个完全荒谬的想法。 我们被告知，全世界有数百万人使用占星术或塔罗牌等技术预测各种现象。 如果人们用一种技术来预测他们的婚姻是否会成功，难道不能用它来预测A版是否优于B版吗？

在查看了成本收益方程后，我们决定进行一个小型试点。 如果像我们预测的那样，占星术不起作用，我们只会损失一些投资和时间。 但是，如果它确实奏效了，它将永远改变营销和用户研究行业。
因此，我们认真地启动了试点。 在对最具预测性的占星术技术进行初步研究后，我们选择了印度占星术 (IA)。 特别是，我们选择了鹦鹉占星术。 让我们对它充满信心的是，它甚至还有一个维基百科页面。

在鹦鹉占星术中，占星家在笼中的宠物鹦鹉面前列出了多种选择。 当鹦鹉被放出笼子时，它会选择其中一个选项作为预测。 简单明了。 我们已经很喜欢了。

我们为我们的飞行员所做的如下：

• 从我们的数据库中进行 100 个 A/B 测试，其中有一个明确的、统计上显着的获胜者（A 或 B）
• 打印他们的截图
• 用一只鹦鹉招募一名印度占星家，并在 100 次试验的截图对之间挑选鹦鹉（每个 A/B 测试一个）

我们的零假设是鹦鹉不能比随机机会更好地选择。 也就是说，鹦鹉应该以大约 50% 的机会选择正确的赢家和输家。

然而，令我们惊讶的是，鹦鹉从 100 次中选出了 80 次获胜者。 使用任何标准的二项式计算器（无论是常客还是贝叶斯），您都会很快发现发生这种情况的可能性几乎为零。 印度占星术真的很管用！

我们显然在这里有所作为。 我们很快计划就此撰写一篇科学论文，并将我们的发现提交给顶级期刊。 这一切都非常令人兴奋和神秘。 鹦鹉如何知道哪个版本效果最好？ 好吧，我们不知道，但它不应该阻止我们在现实世界中使用该技术（就像我们仍然不知道为什么深度学习在各种问题上如此有效但它被广泛使用一样） .

尽早访问基于鹦鹉的 A/B 测试预测

我们正在积极尝试扩展该试点项目，最终目标是通过 VWO 内部的简单用户界面或 API 将其提供给全球所有企业。 主要的挑战是找到足够的鹦鹉并确保我们这样做是合乎道德的。 一旦我们这样做了，世界上的任何企业都将能够快速收敛到最佳用户界面，而无需进行任何 A/B 测试。

我们为希望尽早使用这项技术的人准备了一些名额。 如果您想试一试，请在此处给我们发送电子邮件：[email protected]

等等，什么？

好吧，我们不是说我们是一群持怀疑态度的人吗？ 事实证明，没有科学证据表明占星术有效。 此外，我们强烈谴责将任何鸟类或动物关在笼子里用于临床或医学研究以外的任何事情（即使在临床研究中，我们希望计算和物理模型越来越多地取代实际的动物）。

如果您对 A/B 测试结果的预测前景感到兴奋，那么您并不孤单。 我们对同一件事感到兴奋，即使鹦鹉占星术不起作用，我们仍致力于继续取得进展，帮助业务团队在每个 A/B 测试中获得更高的成功概率。

在去年推出 AI 驱动的网站文案后，我们最近推出了 AI 驱动的热图预测器。 在您输入您的网页 URL 后，我们会截取屏幕截图并使用深度学习来预测网站上的点击分布。 这可以帮助您在网站上线或使用热图工具之前发现网站上明显的死区或干扰因素。

这个工具是免费使用的。 因此，请随时在尽可能多的网站上尝试多次。

很抱歉让您希望您可以摆脱 A/B 测试，但希望您在阅读这篇文章时玩得开心

愚人节快乐！

有笑吗？ 请发送邮件至 [email protected]。 我阅读并回复所有电子邮件。