什么是置信区间？分数的浮动范围

评测分数旁边常常拖着一对括号，比如 83.2（81.5–84.9），这对括号就是置信区间。它告诉你的不止是一个分数，更是一个范围：模型的真实水平大概率落在其中。看懂这对括号，读 AI 大模型榜单才算真正入门。

一对括号里的信息

任何一次评测都只是抽样，题目没穷尽所有任务，模型输出还带随机性，所以单点分数天然带误差。置信区间把误差翻译成可见的范围：括号越窄，说明测得越准，单点分数越接近真实水平；括号越宽，说明这趟测量抖得厉害，分数只能当参考。常见的写法是九五置信区间，意思是如果照同样方式反复评测，九成半的情况下真实水平都会落在这个范围里。题量翻倍，区间大约收窄到原来的七成，回报递减但方向明确，这就是为什么严肃榜单宁可少报几个模型，也要把每个模型测扎实。

用体温计理解浮动范围

家用体温计量出 37.2 度，说明书可能标注误差正负 0.2 度，这个正负范围就是体温计的置信区间：真实体温大概率在 37.0 到 37.4 之间。它和评测分数的括号是同一件事。类比失效的地方在于，体温是客观存在的单一数值，而模型的真实水平还随题目分布、难度构成而变化，评测的「体温计」本身有多个刻度体系，所以不同评测给出的区间不能直接互换比较。

区间宽窄说明什么

宽区间通常指向三件事之一：题量太少、模型输出波动太大、或者题目难度参差。想让区间收窄，最直接的办法是加题量或多跑几轮取平均，但成本随之上升。读榜单时有个实用口诀：先看区间宽度再比高低，宽度本身就在告诉你这份成绩值几分信任。有些团队发布模型时会在材料里附区间，Kimi 和智谱清言的部分评测材料就有类似呈现，看到带括号的分数别嫌碍事，那是对读者负责。还有一点反直觉：区间的可信程度取决于评测流程是否规范，一份粗糙流程跑出的窄区间，反而不如严谨流程下的宽区间值得信任。

置信区间速查表

• 有区间：说明团队交代了测量的可信度
• 区间窄：分数可信度高，可以放心引用
• 区间宽：成绩仅供参考，别急着下结论
• 没区间：追问题量与轮次，再决定信多少

两个区间重叠时怎么办

A 的区间是 81.5 到 84.9，B 的是 82.0 到 85.3，重叠意味着谁高谁低说不清，这时候按打平处理最稳妥，别被名次栏的先后骗了。想更严谨一点，可以接着学显著性判断差距是不是真东西；区间宽也可能与重复测量的抖动有关，根源在评测方差。还有一种情况要警惕：分数高得反常、区间却出奇地窄，背后可能藏着刷分动作；如果对题目来源有疑虑，顺手做一次污染检测更踏实。

把区间摆在一起，四种形态对应四种读法。

区间还有一个容易被忽略的用法：做选型决策时，与其比较两个单点分数，不如比较两个区间。区间完全错开的两个模型，选分数高的那个几乎不会错；区间大幅重叠的两个模型，说明在你关心的题库上它们难分高下，此时应该改看其他维度，比如各自答错的题目类型、价格与调用限速，而不必在分数上强分高下。把「看单点」升级成「看区间」，很多没必要的纠结会自动消失，这也是统计素养落在实际决策里最直接的一处体现。

换个问法再问置信区间三句

• 区间越窄越好吗？：窄说明测量稳，但过分窄要核对题量与轮次，避免被精心挑过的评测条件糊弄。
• 分数落在区间外算异常吗？：单次成绩偶尔越界属于正常波动，频繁越界才说明评测流程或模型行为有问题。
• 不同榜单的区间能互相比较吗？：不能直接比，题目构成与判分标准不同，各自区间只在自己的体系内有效。