显著性是怎么判定的？差多少才算

榜单上两个大模型只差零点几分，评论文区已经吵翻了：这算真差距还是抖动？显著性是怎么判定的，回答的就是这个问题——用重采样和置信区间，给「差多少」划一条可信线。这篇讲清判定流程，以及差多少才算数。

差多少才算真差距

先看波动有多大：若同一模型重复评测本身的起伏就有 0.5 分，那 0.3 分的领先谈不上领先。判定从估计波动开始，波动来源可回看评测方差，把波动幅度摸清，才有资格谈显著性。

估计波动本身也有讲究：用同一模型重跑整个题集当然准确，但成本高；更经济的做法是按题目分层抽样，只重跑一部分题，推算整体波动。抽样方案要固定下来并写进报告，否则波动估计本身又成了一个波动源。还有一个常见误区是用单次运行的历史数据估波动——如果历史数据来自不同版本模型，混进去的就不只是评测波动，还有版本差异，估出来的幅度会虚高，让后面的显著性检验变得过于宽松。波动估计的数据来源要单一、口径要干净，这是统计结论的地基。地基不牢，后面的区间再漂亮也只是装饰，这条原则适用于任何用历史数据做基准的场景。

重采样与置信区间

机制上常用重采样：把评测结果按题目有放回地重新抽样组合，算出成千上万种「假想成绩单」上的分差分布，看「两者无差距」这个假设落在不在常见范围内。进来的是一次评测的逐题得分，发生的是反复抽样与统计，出去的是一个区间：若分差区间整体偏向一侧，差距才站得住。Kimi、通义千问这类团队发布对比数据时，附上置信区间的做法正在变多。

三个动作串起来，才走完一次判定。

榜单上的小数点后两位要小心

很多榜单报到小数点后两位，但没报波动幅度的名次差异基本没有解释力。两个可带走的提醒：其一，差距小于波动幅度时，把名次当作并列；其二，题量越大，同样的分差越可信，看分数先看题目量。

报告显著性时的常见坑

只报显著不报幅度、只报胜率不报区间、在多轮比较里挑显著的那轮说——这些都会把统计工具变成修辞工具。刷分得来的虚高分在显著性检验下更容易露馅，手法见刷分操作；多次运行怎么组合进检验，见多次运行均值；评测预算紧张时，显著性还能反过来帮你定最小题量，关联评测成本估算。

题目之间的相关性是重采样容易忽略的问题：同题库的题目难度相互关联，逐题独立抽样的假设并不严格成立，算出来的区间会偏窄，显得比实际更自信。缓解办法是按题组整组抽样，保留题目间的相关结构，代价是区间变宽、判断更保守。保守一点不是坏事，榜单上的结论宁可少而硬，不要多而脆。

实践里还有个简化版判据：先用历史数据估计该题集的单次运行波动幅度，再把待检验的分差与之相比，分差不足波动幅度的一半时，基本可以按并列处理。这个粗判据不精确，但胜在门槛低，普通读者在解读榜单时就能用，不必等官方给出完整的统计检验。数据素养的起步，往往就从这一个简单的比较开始。

显著性判定自查清单

• 先估波动，再谈差距？
• 分差是否给出区间而非单点？
• 差距小于波动时是否按并列处理？
• 题目量是否随分数一起公布？

显著性判定快问快答三则

• 没有统计背景能看懂区间吗？：能，把区间理解成「真实分差大概率落在这一段」即可。
• 重采样会不会算得太慢？：逐题分数到手后，计算本身很轻，重活早就干完了。
• 显著性通过就等于差距有实用意义吗？：不一定，统计显著只说明差距并非随机，大小是否要紧仍需结合场景。