优化词汇表

A / A测试

什么是/一个测试?

a / a测试是使用的策略 A / B测试 以彼此测试页面的两个相同版本。通常,这是为了检查用于运行实验的工具是否有统计公平。在A / A测试中,如果测试正确实现,该工具应在控制和变化之间的转化之间没有报告差异。

为什么A / A测试很重要?

你为什么要在变异和原件相同的地方进行测试?

在某些情况下,您可能希望使用此操作来监控运行A / A测试以跟踪转换次数并在开始A / B之前确定基线转换率的转换次数 多变量测试.

在大多数情况下,A / A测试是一种重写A / B测试软件的有效性和准确性的方法。您应该看看软件是否报告存在统计学意义(>95%的统计显着性)控制和变异之间的差异。如果软件报告存在统计上显着的差异,这是一个问题,并且您需要检查软件是否正确地在您的网站或移动应用程序上实现。

以/ a测试记住的事情

运行A / A测试时,重要的是要记住发现差异 兑换率 在相同的测试和控制页面之间始终是一种可能性。这不一定对A / B测试平台的反射不佳,因为在测试时总是随机性的元素。

在运行任何A / B测试时,请记住 统计学意义 结果是概率,而不是确定性。即使是95%的统计显着性水平也代表了一个1的20机会,即你所看到的结果是由于随机的机会。在大多数情况下,您的A / A测试应该报告控制和变化之间的转换改进是统计上的不确定 - 因为基本的事实是没有找到。

优化统计引擎和A / A测试

在最佳地运行A / A测试时,在大多数情况下,您可以预期测试结果是不确定的 - 变化之间的转换差异不会达到统计显着性。实际上,显示不确定结果的A / A测试的数量至少高于项目设置中设置的意义阈值(默认为90%)。

但是,在某些情况下,您可能会在一个变体上看到一个变化表现出另一个变化,甚至是赢家被宣布为您的目标之一。这个实验的确凿结果纯粹是偶然的,并且应该只有10%的病例发生,如果你已经将重要性门槛设定为90%。如果您的意义阈值较高(例如95%),则遇到结论A / A测试的机会甚至更少(5%)。

有关优化的统计方法和统计引擎的更多详细信息,请查看 如何运行和解释A / A测试.