什么是置信区间？估计到底有多可靠

两个模型在公开榜单上一个 78.4 分、一个 79.1 分，很多人会直接下结论说后者更强。可如果把测试集换一批同分布的题，这个排序有可能反过来。AI 评测里这种差一点点的对比天天发生，而只报一个数字的榜单，恰好把判断所需的信息藏起来了。置信区间要解决的就是这件事：把估计值写成一个范围，并标明这个范围有多可靠。这篇讲清三件事——区间怎么来、95% 到底在说什么、为什么区间窄不代表结论对。

点估计的问题不在不准，而在不说有多不准

抽三十条测试样本，模型答对二十四条，正确率就是 80%。这个数字没算错，但它是一个点，看不出再抽三十条会变成多少。抽样天然带随机性：换一批样本，结果就会晃。置信区间做的事，是把这种晃动幅度也算进去，给出真实水平大概落在哪个范围。它的价值不在于让估计更准，而在于让不确定性变得可见——一个带区间的 80%，比一个孤零零的 80% 诚实得多。

区间宽窄由什么决定

前三行是可以用公式算清的取舍，第四行是公式管不到的。区间宽度只反映随机抽样带来的不确定性，如果样本本身有偏，比如测试题都从同一个来源抓、难度分布和真实场景不一致，区间会又窄又自信，答案却离真相很远。判断一份评测靠不靠谱，先看抽样方式，再看区间宽度。

95% 这句话的正确读法

「真实值有 95% 的概率落在这个区间里」是流传最广的错误说法。在频率学派的框架里，真实值固定，区间随机：每次抽样算出一个区间，有的盖住真值，有的没盖住。95% 描述的是这套方法的长期表现——重复抽样很多次，大约 95% 的区间会包含真值。对已经算出来的这一个区间，它要么盖住了，要么没盖住。

这个区别不只是抠字眼。把它理解成 95% 概率包含真值，就会以为区间之间可以比概率大小，进而做出这个区间更可信这类没有依据的判断。更实用的读法是把它当成「重做一次实验，结果大概在哪个范围浮动」。

它在 AI 评测里的用法

看榜单时，先找有没有误差范围或者多次运行的结果。两个模型差 0.7 分，如果各自的区间宽度都有正负 1.5 分，这个差距就落在噪声里，排序没有意义。做法不复杂：把测试集随机切成若干份，每份单独算指标，看这些指标的分布；或者对同一批样本重采样，反复计算。这套思路和 交叉验证 是一体的，都靠重复估计波动，具体用哪些指标可参考 模型评估指标。

有了区间，还能顺带判断它有没有跨过阈值。产品要求准确率至少 85% 才上线，测出来 86% 加减 2%，这个结论并不支持上线，因为真实水平可能只有 84%。这类判断比显著或不显著更贴近决策，也更容易向非技术同事解释，相关方法可对照 假设检验。

窄区间也可能错得离谱

置信区间有三个失效场景。第一，系统偏差：区间只覆盖随机误差，标注标准不一致、测试集混进训练数据，这些问题不会让区间变宽，只会让它错得更自信，评估污染 就是典型。第二，前提不成立：很多公式默认样本独立，测试题成组出现时（同一段材料出五道题），实际不确定性远大于算出来的值。第三，多重比较：同时看十几个指标，每个都报 95% 区间，总会有一两个没盖住真值。

还有一条常被忽略：置信水平不是结论正确的概率。95% 意味着这套流程长期会有 5% 的失败率，跟你这一次的结论对不对没有直接关系。

看到正负 3% 时该追问什么

报告里写准确率 82%、误差正负 3%，可以顺着问三句：样本量多少、样本怎么抽的、区间是单次实验算的还是多次重复估的。前两句决定区间可不可信，第三句决定它有没有被低估。这三个问题不需要统计学背景，却能筛掉大部分包装过的数字。重要的并不是会算区间，关键在于养成一个习惯：看到精确到小数点的分数，先想它是从多少样本里算出来的。

速查：置信区间

• 点估计给一个数，区间给一个范围加把握程度
• 样本翻四倍，区间宽度才减半，加样本的成本很高
• 95% 说的是方法的长期覆盖率，不是这一次的概率
• 区间只覆盖随机误差，抽样有偏时它又窄又错
• 两个模型的差距落在区间内，排序就没有意义