什么是 A/B 实验的「显著性」？怎么理解

2026-10-06 发布来源：我告诉你AI导航阅读

做完 A/B 实验，A 版转化率高 5%。问题是：这 5% 是真实效果，还是随机波动？显著性（统计显著性）就是用来判断这个差异"是不是碰巧"的工具。它回答：观察到的差异，有多大概率是纯粹随机波动造成的。概率越小，差异越可信。在 AI...

显著性回答的是哪类问题

做完 A/B 实验，A 版转化率高 5%。问题是：这 5% 是真实效果，还是随机波动？显著性（统计显著性）就是用来判断这个差异"是不是碰巧"的工具。它回答：观察到的差异，有多大概率是纯粹随机波动造成的。概率越小，差异越可信。在 AI 产品里，这个判断同样频繁出现——比较两个模型、两套提示词、两种模型参数时，都要先确认差异是否可靠。

一个硬币的类比

掷硬币 10 次，出现 7 次正面，不能说明硬币有问题，因为次数太少；掷 1000 次出现 700 次正面，就很可疑了。样本量越大，小差异越可能是真实效果。这正是显著性的直觉：差异本身的大小要用样本量来校准，同样的差异，样本越大越可信。反过来，样本太小时，哪怕看起来很大的差异，也可能只是几次随机结果的巧合。

三个绕不开的概念

理解显著性需要三个概念：样本量，样本太小任何差异都不可靠；置信水平，通常取 95%，表示"有 95% 把握差异并非巧合"；统计功效，样本是否大到能发现真实存在的差异。三者的关系可以用一张表理清。

概念	含义	出问题时的表现
样本量	参与实验的用户数量	样本太小，任何差异都可能是噪声
置信水平	通常取 95%，衡量结论的可靠程度	水平定得太低，容易把噪声当真
统计功效	发现真实差异的能力	功效不足，真有差异也测不出来

最常见的三种误判

显著性用错比不用更糟。一是样本太小就下结论：几百个用户的差异可能只是噪声。二是提前看结果：实验跑到一半发现有差异就停，等于选择性报告，容易误判。三是同时比很多指标：比得越多，越容易"碰巧"冒出一个显著差异。这三种误判有一个共同点，都是把随机波动当成真实效果，或把不完整信息当成结论。AI 能在这三处帮上忙：估算需要多少用户才能得出结论、判断给定数据下差异是否可靠、提醒实验设计里有没有陷阱。

显著不等于重要

一个统计上显著的差异，可能在业务上微不足道。比如转化率提升 0.1%，显著却没什么意义。所以除了看显著性，还要看效果够不够大、值不值得投入。判断 A/B 实验结论时，统计判断和业务判断缺一不可：显著性负责回答"是不是碰巧"，效果大小负责回答"值不值得做"。这在 AI 领域尤其常见——模型评测分数高一点，未必带来用户可感知的体验变化。

什么时候显著性会失效

显著性有明确的适用边界。它做不到替你判断业务价值，也做不到在样本被污染时给出正确结论。如果实验期间流量被其他活动干扰，或两组用户本身就不均衡，显著性算出来的数字照样会误导人。此外，显著性依赖随机化：没有干净的随机分组，后面的计算都建立在摇晃的地基上。换句话说，显著性的前提是随机分组和干净流量，这两个前提一旦被破坏，结论就不可靠。理解 AI 评测为什么容易"看起来好、用起来一般"，需要先把这类统计概念弄清楚。