多元测试：如何运行最佳测试以获得最佳结果
已发表: 2017-02-09A/B 测试是为您的点击后登录页面找到优化想法的最简单方法之一，但它并不总是最有效的方法。
在开始一次测试两页、三页或四页之前，请先了解如何进行更多测试，并发现可转换访问者的最佳元素组合。
点击推文
什么是 A/B 测试？
A/B 测试，也称为拆分测试，可让您比较网页的两个不同版本，以确定哪个版本更好地转换了访问者。
这两个页面可以是：
- 稍微不一样
如果你有一个高转化率的设计，你想弄清楚如何改进单个元素，你可以测试两个不同的页面，只有一个差异。 如果您想查看好奇心或以新闻为重点的标题是否表现更好，您可以测试标题与标题。 如果您想查看视频或 gif 对转化的影响是否更大，您可以在每个页面上测试一个。
在为每个人带来相同的流量后，产生最多转化的人就是赢家。 一个产生更多转化的原因很明显，因为两个页面之间只有一个差异。
- 截然不同
您还可以测试以多种方式不同的两个页面。 您的原始页面可以具有与变体不同的标题、特色图片和号召性用语按钮。 测试它可能看起来像这样：
在为原始页面（A 或“控制”）和变体页面 (B) 带来相同的流量后，转化率更高的就是赢家。 但与每次测试仅更改一个元素不同，当您测试完全不同的页面时，无法确定特定页面获胜的原因。
考虑以上情况，我们只知道版本“b”的例子的结果优于版“一”，而不是为什么它是更好的，因为有许多原因可能归因于原因。 转化可能来自导航栏从左到右的调整，或者注册表从上到下的调整。 当您对完全不同的设计进行 A/B 测试时，您所能确定的只是一页比另一页好。
但是，您可以运行不同类型的测试来确定对多个元素的更改如何相互交互。 这称为多变量测试。
什么是多变量测试？
多变量测试是优化器用来比较两个不同网页的过程。 该方法侧重于比较多个元素之间的细微变化，然后衡量这些元素之间的相互作用，目的是找到表现最好的元素。
A/B 测试和多变量测试的区别
您可能已经阅读了很多 A/B 测试案例研究，这些案例研究通过将一个标题与另一个标题、特色图片与视频或一个号召性用语与略有不同的标题进行比较来找到获胜页面。 虽然它们可以用来准确地做到这一点，但根据 Widemile 的优化人员的说法，有一种更理想的方式来使用 A/B 测试：
他们说，A/B 测试的理想用途是“测试两个或更多完全不同的页面”。 在测试方面，最好进行 A/B 测试以找到所谓的“全局最大值”，并通过多变量测试来优化“局部最大值”。
全局最大值和局部最大值
尽管很难，但请想象一下，您一生中从未吃过一勺冰淇淋，而您正站在冰淇淋店里，试图决定要购买 30 种不同口味中的哪一种.
有 10 种不同的巧克力、10 种不同的香草和 10 种不同的草莓。 在决定要一勺哪一种之前，您会尝试所有 30 种口味吗？
可能不是。 你可能会尝试每一种截然不同的口味——一种巧克力、一种草莓和一种香草——来缩小你最喜欢哪种口味的范围。 如果您发现自己喜欢巧克力而不是香草和草莓，您将开始尝试“巧克力曲奇面团”、“巧克力花生酱”和“巧克力软糖”等口味，以决定您最喜欢哪种巧克力。
在统计术语中，我们将您最喜欢的品种（巧克力、香草或草莓）称为全球最大值。 这是三种截然不同的口味中最适合您的口味。 该品种的特定风味（巧克力软糖、巧克力曲奇饼干面团、巧克力花生酱）将是当地的最大值。 这是您选择的品种的最佳版本。
作为优化器，您希望以类似的方式进行测试。 您想找到最能转化访问者的页面（全局最大值），然后调整该页面上的特定元素以将其改进为转化率最高的页面（局部最大值）。 您正在寻找的将决定您使用的测试。
何时使用 A/B 测试以及何时使用多变量测试
A/B 测试最适合测试全局最大值。 他们最擅长发现您的访问者想要转换的页面。 以 MarketingExperiments 的这个例子为例，该公司使用 A/B 测试帮助 Investopedia 提高其时事通讯 Investopedia Advisor 的转化率。
报价很简单——带有股票提示的免费时事通讯——因此原始页面反映了这一点。 它不长，不复杂，也不杂乱，有很多元素。 它具有单字段潜在客户捕获表格、项目符号副本和信息图：
但是，尽管提供了有价值的免费优惠，它的转化率仅为 1.33%。 MarketingExperiments 的团队决定彻底修改页面。 他们更改了标题、布局、CTA 按钮，并添加了一些徽章等。 然后他们对新页面与原始页面进行了 A/B 测试，他们发现新页面的转换率高出 89.4%。 这是它的样子：
重要的是要记住，在这个 A/B 测试中，实验者没有弄清楚为什么新页面比旧页面转换得更好，但他们确实找到了一个新的更高的转换率。 换句话说，他们发现了一个新的全局最大值。 届时，如果他们愿意，他们可以通过多变量测试来优化此页面，以确定哪些元素组合可以转化最多的访问者。
例如，这正是 Optimizely 的这个假设示例中的测试人员想要做的。 他们想弄清楚标题和图片的哪种组合能带来最多的访问者。
因此，他们创建了多个具有不同标题和图像组合的页面，以查看哪个页面的效果最好。
测试中以最高转换率出现的这四个版本中的哪一个是赢家。 如果带灯泡的两个版本的性能优于带齿轮的两个版本，您可能会得出结论，灯泡图像对转换的影响最大。 从那里，您会看到哪个随附的标题产生了更多的转化，并使用该页面。
如何进行多变量测试
几年前，当 VWO 创始人 Paras Chopra 想要提高他网页上的下载量时，他使用多变量测试来找出方法。 如果您熟悉进行 A/B 测试的步骤，您就会认出这个多变量测试示例中的大部分步骤。
1. 发现问题
在开始改进您的网页之前，最好深入研究数据并了解访问者如何与之交互。 他发现人们并没有像他预期的那样点击他的“下载”按钮，所以他调查了页面以找出原因。
2. 提出假设
仔细检查后，他发现下载链接并不明显。 所以他创建了一个改进页面的假设：
让访问者注意到下载链接的一个明显解决方案是使下载部分成为页面最突出的部分。 在页面设计中，“下载”标题大小和颜色很好地融入了页面的其余部分，导致人们错过了下载链接。
通过让“下载”链接更加引人注目，他相信他能够提高转化率。 这就是他决定这样做的方式。
3. 创建变体
现在是时候为测试创建变体页面了。 根据帕拉斯的说法：
对于多变量测试，我在页面上选择了两个用于创建变体的因素：侧栏中的“下载”标题和其下方的“PDFProducer”下载链接。 测试的重点是观察“免费”一词的效果，以及突出显示下载部分的效果。
以下是他决定使下载部分更加引人注目和诱人的方式。
对于最初的“下载”链接，他测试了三种不同的变体：
- 红色的“下载”
- 红色的“免费下载”
- 以默认颜色“下载”，但字体更大
对于原始的“PDFProducer”链接，他测试了两种不同的变体：
- “PDFProducer”采用默认颜色，但字体较大
- 红色的“PDFProducer”
这是所有组合的样子：
用四个版本的下载链接（包括原版）和三个版本的“PDFProducer”文本（再次包括原版），形成了12个不同的变体，进行了全因子测试。 全因子测试所有组合，而不是仅测试最有影响力的部分因子。
CXL 的 Alex Birkett 声称，虽然有多种多元分析方法——全因子、部分因子和田口——但大多数优化器建议运行全因子以确保其准确性。
4. 确定您的样本量
在开始为页面吸引流量之前，您需要确定样本大小——每个页面需要产生的访问者数量，然后才能对测试结果做出结论。
VWO 的这个计算器将帮助您根据您的网站流量、您有多少变体以及您的统计显着性，计算出有多少访问者以及您需要多长时间运行测试。
要了解有关达到统计显着性的更多信息，以及您需要输入计算器的所有内容，请查看此博客文章。
5. 测试你的工具
在开始运行流量之前测试所有内容。 您的点击后登录页面在每个浏览器中看起来都一样吗？ 你的 CTA 按钮有效吗？ 您广告中的所有链接都正确吗？
在开始运行任何东西之前，务必对广告系列的各个方面进行质量检查，以确保不会影响您的结果。
6. 开始驾驶交通
既然您已经创建了您的变体并且知道您需要为每个变体产生多少流量，就可以安全地开始为它们吸引流量了。 多变量测试的最大缺点是在得出结论之前需要大量的流量，因此您需要耐心等待。
当您进行 A/B 测试时，您只需要为两个页面带来大量流量。 但在多变量测试中，例如 Paras 的测试，有 12 个不同的页面必须收集大量样本才能调用测试。
留意对您的有效性的威胁，不要忘记考虑误报率增加的原因，Leonid Pekelis 说：
“实际上，您是在为每次交互运行单独的 A/B 测试。 如果您要测量 20 个交互，并且您的测试程序有 5% 的概率为每个交互找到误报，那么您会突然期望大约有一个交互完全偶然地被检测到。 有一些方法可以解决这个问题，它们通常被称为多次测试更正，但同样，代价是你往往需要更多的访问者才能看到结论性的结果。”
7. 分析你的结果
在运行了四个星期的测试后，Paras 发现：
您可以观察到红色标题“免费下载”将下载转化率从 39% 提升到 63%，增幅高达 60%。 使用大字体大小的“下载”（结合链接颜色为红色）也比默认值有积极的（43%）改进。 在所有结果中，前三名在 95% 或更高的置信水平下具有统计显着性。
Paras 可以实现他的新页面并忘记这个测试，但相反，他强调了一个重要的最后一步：
8. 从结果中学习
您的每一项测试都应该用于了解有关您的网页及其访问者的一些信息，您可以使用这些信息为未来的测试提供信息。
他了解到，在他的网页上：
- “免费”这个词引起了他的网站访问者的共鸣。
- 优惠的免费性质最好在号召性用语上或附近做广告。
- 红色吸引了他的访客的注意。
- 更大的号召性用语吸引了更多访客的眼球。
但请记住，这些是他的测试结果。 虽然“免费”这个词在任何宣传免费优惠的网页上总是很好用，但您的 CTA 的最佳位置、大小和颜色在您的网页上可能会有所不同。 确定的唯一方法是测试。
您是否尝试过多变量测试？
您是否因为认为它太复杂而偏离了多变量测试？ 立即注册 Instapage Enterprise 演示。