优化词汇表

统计学意义

统计显着性定义

统计显着性是给定变化与基线之间的转换率差异的可能性不是由于随机的机会。

据说实验的结果具有统计学意义,或者是统计学意义的,如果它可能不是由给定的统计显着性水平的机会造成的。

您的统计显着性水平反映了您的风险容忍度和置信水平。例如,如果你运行一个 A / B测试 实验具有95%的显着性水平,这意味着如果您确定赢家,则可以获得95%的信心,观察结果是真实的,而不是随机造成的错误。这也意味着你可能错了5%的几率。

统计显着性真的是什么意思?

统计显着性是一种数学方式,证明某种统计数据是可靠的。当您根据您正在运行的实验结果做出决策时,您将需要确保实际存在关系。

在线网络所有者,营销人员和广告商最近有兴趣确保他们的A / B测试实验(例如,转换率A / B检验,AD复制变更,电子邮件主题线调整)在跳跃结论之前获得统计学意义。

您的统计显着性水平反映了您的风险容忍度和置信水平。例如,如果您运行具有95%的显着性水平的A / B测试实验,这意味着如果您确定赢家,则可以获得95%的信心,观察结果是真实的,而不是随机性引起的错误。这也意味着你可能错了5%的几率。

测试你的假设

统计学显着性最实际地用于统计假设检测。例如,您想知道是否从红色到绿色的网站上的按钮上的颜色是否会导致更多人点击它。

如果您的按钮当前是红色的,那么它被称为您的“null假设”。转动按钮绿色被称为您的“替代假设”。要确定统计显着性测试中观察到的差异,您需要注意两个输出:P值和效果大小的置信区间。

p值 是指观察样品的效果的概率值。 p值<0.05是宣布统计显着性的常规阈值。

效果大小周围的置信区间 指在您的实验中可能发生的情况的上限和下限。

为什么统计显着性对业务很重要?

统计显着性很重要,因为它让您信心您对网站或应用程序所做的更改实际上对您的影响产生了积极的影响 兑换率 和其他指标。您的指标和数字可以在日常日期间疯狂地波动,统计分析为制定业务决策和消除误报提供了良好的数学基础。

统计上有重大的结果不归因于机会并取决于两个密钥变量: 样本大小规模效应.

样本大小 是指样品对您的实验有多大。您的样本大小越大,您可以在实验结果的结果(假设它是随机样品)的结果越多。如果您在网站上运行测试,您的网站收到的流量越多,您越早将具有足够大的数据集,以确定是否存在统计上显着的结果。如果样本大小太低,您将遇到采样错误。

规模效应 指两种样本集之间的结果差异的大小,并表明了实际意义。如果效果大小很小(说转换率的0.1%),您需要一个非常大的样本大小来确定该差异是否是重要的或只是由于机会。但是,如果您对数字遵守非常大的影响,您将能够以更小的样本大小验证它以更高的信心。

除了这两个因素之外,要记住的关键是随机抽样的重要性。如果向网站的流量均匀地均匀地分两文,但采样不是随机的,它可以引入采样群体行为的误差。

例如,如果100人访问一个网站和所有男性都显示出一个页面和所有女性都显示出不同的版本,那么两者之间的比较是不可能的,即使流量拆分50-50,因为人口统计数据的差异可以引入数据的变化。需要真正随机的样本来确定实验结果是统计学上的显着性。

在制药行业,研究人员使用临床试验的统计测试结果来评估新药。显着性测试的研究结果表明,可以推动投资者资金和制造或打破产品的药物效果。

用统计引擎轻松计算统计学意义

准确计算统计显着性可以是需要坚实地了解统计和微积分的复杂任务。

幸运的是,您可以轻松确定实验的统计学意义,无需任何数学 统计发动机,高级统计模型内置优化。

统计引擎通过组合顺序测试和假发现速率控制标志来提供统计上显着的结果,而不管样本大小如何。实时更新,统计发动机每次都会确保95%的重要性水平,提高您对贵公司做出正确决定的信心 避免陷阱 along the way.

为了解决这些常见问题,创建统计信息引擎在更短的时间内进行测试。通过帮助您实时进行统计声音决策,统计引擎根据需要调整值,快速准确地享受值得信赖的结果。

今天开始优化地运行测试,并对您的决定充满信心。