优化词汇表

多变量测试

多变量测试定义

多变量测试是一种用于测试假设的技术,其中修改了多个变量。多变量测试的目标是确定哪些变化的组合能够从所有可能的组合中执行最佳组合。

网站和移动应用程序由可变元素的组合制成。多变量测试将改变多个元素,例如同时更改图片和标题。组合图像的三个变化和标题的两个变体以创建六个版本的内容,并同时测试以找到获胜变化。

标题和图像进行测试。

多变量测试中的变化总数始终是:

[元素A的变体A] x [元素的变体B] ...... = [变体的总数]

在下面的示例中,标题和图像是组合测试的,具有基线和每个元素的一个变型,每个元素产生用于实验的四个总变化。

标题和图像的组合。

运行多变量测试的过程是 类似于A / B拆分测试,但在A / B测试中的不同仅测试一个变量。在A / B测试中,测试至少一个变量以确定变化对一个变量的效果。在多变量测试中,多个变量一起测试,以发现有效地改善最终目标的理想组合。

多变量测试的好处

当同一页面上的多个元素可以在串联中更改多个元素以改善单个转换目标:注册,单击,表格完成或共享时​​,使用多变量测试可能会有所帮助。如果正常进行,多变量测试可以消除在具有相同目标的同一页面上运行几个顺序A / B测试的需要。相反,在较短的时间段内,测试在较少的变化中同时运行。

多变量测试的缺陷

执行多变量测试中最困难的挑战是达到有意义的结果所需的访客流量。由于这些测试的完全因子性质,测试中的变化数量可以快速加起来。许多变化测试的结果是对每个变化的分配流量较低。在 A / B测试,实验的流量分为一半,有50%的流量访问每个变化。在多变量测试中,流量将被分成季度,第六个,第八个或甚至较小的段,其中变体接收的交通量小于简单的A / B测试。

在运行多变量测试之前,将每种变体所需的流量样本大小投影以便到达 统计学意义 结果。如果您想要测试的页面的流量很低,请考虑使用A / B测试而不是多变量测试。

多变量测试的另一个挑战是当被测试的一个或多个变量时对转换目标没有可测量的影响。例如,如果着陆页上的图像的变化不会影响转换目标,而对向标题进行修改时,测试将更有效地运行作为A / B测试而不是多变量测试。

多变量测试的例子

多变量测试的常见示例包括:

  • 一起测试文本和可视元素
  • 在一起测试CTA按钮的文本和颜色
  • 测试表单字段和CTA文本的数量

使用多变量测试作为一种方法 网站优化 是收集访客和用户数据的强大方法,可以详细介绍复杂的客户行为。多变量测试中未覆盖的数据消除了网站优化的怀疑和不确定性。持续测试,实施获胜的变化和建立测试洞察力可能导致显着的转换收益。