评测方差的来源有哪些？从原理到落地

讯飞星火同一版本在一份题集上跑两遍，分数对不上，先别急着怀疑有人动手脚——评测方差本来就有多个来源。同一套题为什么分会有波动？从采样到判分再到部署，每个环节都可能注入随机性，这篇把来源逐个点出来，并说清怎么把它们装进报告。

采样温度与解码随机

生成式模型按概率挑词，温度不为零时同一输入能产出不同回答，遇上前几名概率接近的情形，一次采样定胜负的题目分数就会晃。机制上，控制采样参数是压波动的第一杠杆：温度归零或取小值，输出趋稳；保留温度则要靠多次运行摊平，做法见多次运行均值。

概率挑词的随机性还有一个放大机制：早期 token 的微小分歧会在长回答里滚雪球，两个开头几乎一样的回答，结尾可能走向完全不同的结论。这说明波动与任务长度正相关，长生成任务的波动天然更大，跑的次数也要相应加多。理解了这条机制，就能解释为什么同一模型在短问答上分数很稳、到长推理任务上忽高忽低——问题不在模型发挥失常，而在随机性的放大链条变长了。控制波动要从链条上游下手，越早固定随机因素，下游越稳。把温度、种子、任务长度一起记录进运行日志，是追踪波动来源的最小配置，日志越全，事后归因的争论越少。这份日志习惯养成了，波动就从麻烦变成了线索。

判分环节自身的波动

判分同样能晃：模型判分员对同一回答两次意见不一致、正则抽取在边界写法上时灵时不灵、数值容差卡在临界点上，都会把噪声写进分数。判分环节的稳定化手段与重叠检测中的复核思路相通：机器先判，存疑样本转人工，并记录不一致率作为质量指标。

部署与环境带来的差异

硬件、批处理大小、量化精度都会轻微改变输出分布，跨机器复现时尤其明显，归因方法见硬件与跑分关系。DeepSeek 在部分技术报告里就记录过推理栈变更引起的分数漂移，这也是严肃评测要把部署配置写进报告的原因。

把波动装进报告里

波动不可消除，但可以量化：报均值的同时报出波动幅度与运行次数，读者才能判断差距是不是真差距，配套的统计口径见显著性判定。题库一侧同样有随机性来源，比如抽样组题，更新策略见题库更新机制。一个可带走的判断：没有波动幅度的单点分数，参考价值要打对折。

报告波动时，粒度选择影响解读：全卷总分波动通常很小，容易让人放松警惕，而单题级别的波动可能非常剧烈——同一道题五次运行能得出三种不同结论。细分到题型看波动更实用：选择题稳定、生成题晃动大是常态，把波动按题型拆开报告，读者能看出分数的哪些部分可以信赖，哪些部分要打个问号。

跨版本对比时的波动处理更考验功力：两个版本各跑多次，得到的不是两个数而是两组分布，比较的是分布而非单点。工程上常做成对比较，同题配对消除题目难度差异，只留版本间的真实差别。这套做法成本不低，但换来的结论硬度完全不同，值得在关键版本对比上投入。

方差来源速查表

• 采样：温度与概率挑词
• 判分：抽取与评审不一致
• 部署：硬件与推理栈差异
• 题库：抽样组题的随机

关于评测波动再多问三句

• 温度调零是不是就稳了？：输出稳了，但可能损失多样性，部分任务上分数反而更低，要权衡。
• 判分波动怎么量化？：同一批样本重复判分，统计前后不一致的比例，作为判分质量指标。
• 波动大就说明评测没价值吗？：不是，量化之后波动就是信息，能帮你判断哪些差距真实存在。