A / B测试样本大小计算器

由Optimizely的统计引擎提供支持

%

对照组的预期转化率。 [?]

%

您希望能够检测到的最小转换率相对变化。 [?]

95%

95%是公认的统计显着性标准,尽管Optimizely允许您根据风险承受能力设置显着性阈值。 [?]

每个版本的样本量

经常问的问题

什么是Optimizely的统计引擎?

优化地的样本量计算器与其他统计显着性计算器不同。它基于用于 优化地的统计引擎。统计引擎使用顺序测试和错误发现率控制来计算统计显着性。结合使用这两种技术,意味着您不再需要等待预设的样本量即可确保结果的有效性。如果Optimizely告诉您结果是95%的显着性,那么您可以以95%的置信度做出决策。 学到更多

我的A / B测试需要多少位访客?

使用此统计显着性计算器,您可以平均计算测试所需的每种变化的样本量,以测量转换率所需的变化。在许多情况下,如果Optimizely检测到的效果大于您要寻找的效果,则可以尽早结束测试。

为什么您的计算器与其他样本量计算器不同?

我们的A / B测试样本量计算器由新Stats Engine背后的公式提供支持,该引擎使用带有错误发现率控制的两尾顺序似然比测试来计算 统计学意义.

使用这种方法,您不再需要使用样本量计算器来确保结果的有效性。相反,A / B测试计算器最适合用作计划测试程序的工具,以找出您可能需要等待多长时间,Optimizely才能根据要观察的效果确定结果是否显着。

如何确定基准转化率?

您可以使用诸如Google Analytics(分析)之类的工具或所使用的其他网站分析工具,查看有关该页面过去的典型效果的历史数据。 学到更多

什么是最小可检测效应(MDE)

在传统的假设检验中,MDE本质上就是检验的敏感性。换句话说,它是您要检测的最小的转换率相对变化。例如,如果您的基准转化率是20%,并且MDE设置为10%,那么您的测试将检测到任何将您的转化率移到18%到22%绝对范围之外的变化(相对影响为10%在此示例中,转化率的绝对变化为2%)。 学到更多

如何估算最小可检测效应(MDE)的值?

确定您将如何权衡测试的敏感性以及可能需要进行多长时间的测试。 MDE越小,您要求测试的灵敏度越高,并且所需样本量也越大。

请记住,Optimizely Stats Engine中的统计显着性向您显示了在实验进行过程中您的结果将变得有意义的机会。如果我们的统计引擎观察到的效果大于您要寻找的最小可检测效果,则您的测试可以宣布获胜者或失败者的速度快至必须等待预设样本量的两倍。如果有更多时间,Stats Engine可能还会发现比您期望的MDE小的MDE。 学到更多

样本量计算器的统计功效在哪里?

统计功效实际上是衡量您的测试是否具有足够的数据来得出结论性结果的一种方法。 优化地的新Stats Engine运行的测试始终达到1的功效,这意味着该测试始终具有足够的数据来向您显示当时有效的结果,如果存在差异,最终将发现差异。这意味着您只要您的结果有意义就可以做出决定,而不必担心功能。

进一步了解Optimizely