两张大模型榜单相差 0.5 分，很多人就下了结论：前者更强。「差 0.5 分就是有差距」错在把噪声当成了信号——评测本身有波动，采样温度、判分口径、题目抽样都会让同一模型的成绩上下浮动。正确说法是：小数点后的差距先放进区间看，多跑几次再下结论，先看区间，再看小数点后的差距。
打个比方：同一杆秤称同一袋米，两次读数差半两，你不会认为是米变了。分数也一样，单次读数带着手感。
区间思维落地成报表只需两列：最低分与最高分。汇报时先给区间再给中位，听众自然会问「波动为什么大」，而这正是该讨论的问题；会议纪要里把「区间重叠」写成固定结论格式，能省掉后续争论。把波动从台后请到台前，很多无意义的分差之争会自动消失——大家突然发现，多数对手的区间是重叠的。
判分口径的抖动常被漏算。规则判分稳定，裁判模型判分就会漂：裁判换版本、提示词微调，同一批答案的分数能挪好几分。固定裁判版本、冻结评分提示词、定期跑校准集，三件事做完，判分侧的波动才可控；校准集不用大，二十题就够，关键是每次都用同一套。
抽样抖动也有解：题集分层抽样，每层固定题数，每次运行只换随机种子不换题。这样波动只剩模型自身的随机性，读数干净得多；想要更稳，再把关键题做成必考题，每轮必跑。
汇报小数点前的差距时，可以给个经验门槛：题集五十题以内，差距小于两分一律当平局；一百题以上，门槛收紧到一分。门槛定下来后写在报表页脚，谁来汇报都一样，比临场拍脑袋公平。
最后一句：与其纠结零点五分，不如把这份机器时间拿去扩题型覆盖。覆盖多一个题型，信息的增量远大于分数多一位小数。
0.5 分可能只是抖动
生成式模型的输出有随机性，同一道题重跑一遍可能换个写法，对错就差在毫厘之间。几十道题的题集里，几道题的偶然就能让总分波动零点几分。
波动从哪里来
四个来源：采样参数不同、题目抽样不同、判分口径不同、裁判模型换版本。两个榜单比较时，任何一项没对齐，差距里都混着方法差异。
| 波动来源 | 具体怎么晃 | 怎么对齐 |
|---|---|---|
| 采样参数 | 温度不为零时同一输入能产出不同回答，边界题对错就差在毫厘之间 | 比较时固定温度与种子，另留一组默认参数看真实表现 |
| 题目抽样 | 换一批题，难度分布跟着变，总分自然浮动 | 分层抽样，每层固定题数，只换随机种子不换题 |
| 判分口径 | 规则判分稳定，裁判模型判分换版本、微调提示词就能挪好几分 | 固定裁判版本、冻结评分提示词，定期跑同一套校准集 |
| 裁判模型换版本 | 裁判自己升级，历史分数与现在的不可直接比 | 裁判换版时重跑校准集，旧分数标注裁判版本 |
正确说法：看区间不看点
把单次分数变成区间：同一模型重复跑三到五次，记录最高与最低；两个模型的区间不重叠，才谈得上有方向的差距。区间重叠，就当平局处理，转而比较价格、延迟这类确定项。
多跑几次再看结论
成本并不高：核心题集压缩到几十题，跑五次的机器开销可以忽略，换来的是结论稳得多。腾讯元宝、文心一言的版本对比，都值得用这个办法过一遍。
最后给个沟通建议：向业务方解释分数时，直接给区间与题数，别给单点数字。区间自带「这是抽样」的说明，听众的期待会被校准到合理位置，后续的信任反而更牢。
继续拆误区：「榜单一定没污染」错在哪？看完就会判断讲题集可信度，「评测一次就够」错在哪？通俗版解释讲重测节奏，还有「AI 裁判很客观」错在哪？看三个漏洞、「自己测的不算数」错在哪？新手版入门与「评测集越大越好」错在哪？别再混淆了。
对照表
- 单次分数：一个点，抖动大，只做参考。
- 多次区间：一条带，稳定性可见，可下结论。
- 区间不重叠，才说谁更强。
带走一句：差距要用区间量，不能用点头算。
关于「差 0.5 分就是有差距」，问得最多的三个
- 跑几次才算够？：三到五次是常见底线，波动大的题集再加次数。
- 温度参数要固定吗？：比较时尽量固定，另留一组默认参数看真实表现。
- 榜单之间可以直接比大小吗？：先对齐口径与日期，否则差距没有意义。
