什么是显著性？差异是不是真的，别再混淆了

榜单上 A 比 B 高了 1.5 分，很多人立刻宣布新王登基，显著性要回答的恰是这个问题：这点差距是真实存在的实力差，还是像抛硬币连出几次正面那样的偶然？学会先问这一句，读 AI 大模型榜单的眼光会立刻不一样。

什么叫差异是真的

两个模型各考一套题，成绩都有波动，谁高谁低可能纯看当天的运气。显著性检验做的事情，是算出「这么大的差距由纯偶然造成的概率有多大」。概率够小，我们就说差距显著，意思是它大概率来自真实的能力差；概率不小，那就只能说两个模型打平，肉眼看到的领先不作数。顺带一提，显著性与差距大小是两个维度，显著的差距可能很小，不显著的差距可能看起来很大。

抛硬币讲清偶然波动

抛一枚均匀硬币十次，出现七次正面并不稀奇；可要是抛一万次还出现七成正面，你就该怀疑硬币被动过手脚。同样的差距，样本量不同，可信度天差地别。评测同理：一百道题上赢三分，远不如五千道题上赢三分有说服力。这个类比失效的地方在于，硬币只有正反两面，模型评测的分数是连续的，波动来源也更多，所以实际判断要靠专门的统计工具，而不是靠感觉估。把这句话翻译到评测场景：看到小题量榜单上零点几分的差距，先默认它可能是噪声，这个默认动作能替你过滤掉大半无效信息。

判断显著性的三个动作

第一看题量：几百道题以内的差距要格外小心，题量越大越敢下结论。第二看波动：把两个模型各自的分数浮动范围摆在一起，区间不重叠才算拉开身位，具体工具是置信区间。第三看口径：两边是不是同一套题、同一套判分标准，口径不同的高分对比没有意义，题目被提前背过的刷分现象也会制造假差距。腾讯元宝和讯飞星火发布新版本时给出的评测材料，通常都会附上对比条件，值得养成顺手核对的习惯。

三个动作各自看什么、结论怎么下，可以对着这张表过一遍。

显著性速查表

• 差距小且题量少：默认当噪声处理
• 差距大且题量多：可以倾向真实差异
• 区间重叠：按打平处理，别排座次
• 口径不一致：先对齐再比较，否则不比

差距小就不值得关注吗

统计上不显著，不代表差距毫无价值。工程团队自测时，哪怕零点几分的稳定领先，叠加到海量调用上也可能意味着体验差异；反过来，普通读者选模型时，为不显著的差距纠结座次纯属浪费感情。把「统计显著性」和「实际价值」分开谈论，是读评测的进阶修养。判断真差距还有一道前置工序，是排查题目有没有漏进训练数据，也就是污染检测，底座干净了，显著性才有讨论的前提。想系统比较版本好坏，还可以回到更基础的回归测试集搭好框架。

实践里还有一条经验值得记住：显著性是关于「这套题」的结论，不是关于「模型本身」的结论。哪怕差距在这套题上显著，换一套覆盖面不同的题，结论未必延续，这也是为什么严肃的评测会同时报告多套基准的成绩。另外，显著不显著与差距重不重要是两回事，统计结论只负责排除运气，决策还要叠加成本、场景匹配度等考量。遇到两个模型的差距反复卡在临界位置时，与其反复抠统计口径，不如直接加大题量再测一轮，数据量上来了，问题往往不辩自明。

关于显著性的三个常问问题

• 差距多少分才算显著？：没有固定门槛，取决于题量、波动幅度和判分方式，同样三分在小题量下可能是噪声。
• 显著性检验需要自己会算吗？：不需要手算，多数评测平台直接给出区间或标记，读者要做的只是看懂并尊重它。
• 两个模型的区间刚好挨着算显著吗？：临界情况要保守处理，宁可复测一轮加题量，也别急着宣布胜负。