什么是评测方差？多测几次不一样

同一套题、同一个模型，今天测是 82 分，明天测变成 79 分，这种分数飘来飘去的现象就是评测方差。大模型的输出自带随机性，采样参数、判分尺度、题目抽样的抖动都会让成绩上下浮动，方差衡量的正是这种浮动的幅度。

分数为什么会飘

来源主要有三个。一是生成端的随机性：多数大模型按概率逐字生成，同一道题两次回答的措辞可能不同，碰上边界题连对错都会翻面。二是判分端的抖动：开放题判分带主观成分，同一份答案换个时间判，分数也可能差一两分。三是抽样端的波动：题目是从大池子里抽出来的，换一批题分数自然不同。评测方差把这三股力量合在一起计量。值得一提的是，随机性并非纯粹的敌人，它同时也带来回答的多样性，评测要做的只是在测量时把它管住。

三股抖动各在哪一环、怎么压住，摆在一起看更清楚。

用投篮命中率打比方

一位射手今天十投七中，明天十投五中，不代表他一夜之间水平大跌，样本太少时波动本来就很吓人。要逼近真实水平，得投几百次再看命中率，这个思路和评测完全一致：多跑几轮取平均，比单次成绩可靠得多。类比失效的地方在于，投篮进没进肉眼可判，模型回答的质量还得先判分，判分环节又会叠加一层不确定性。评测里同理，一份只跑了一轮的分数，既可能是超常发挥，也可能是失手，只有重复测量才能把运气挤出去。

多测几次怎么取数

常见做法是固定提示词与采样参数，把同一套题跑多轮，再取平均分作为最终成绩，同时把波动范围一并报出来。DeepSeek 和通义千问的技术材料里都提过多次运行取均值以压低随机性的做法。轮数越多平均分越稳，但调用成本也线性上涨，通常在准确度和预算之间取一个折中点。如果预算只够一轮，那就优先固定随机种子，让单次成绩至少在同样条件下可复现；同时尽量选大题量，题目越多，单次成绩的毛边相对越小。

报告方在呈现方差时也有讲究。负责任的做法是把多轮成绩的最大值、最小值和平均值一起给出，而不是只挑好看的一轮；更讲究的还会把每道题的作答波动列出来，因为总分波动不大不代表每道题都稳，可能只是高波动题之间互相抵消。作为读者，看到只给单次成绩、没有任何波动说明的评测，心里要先打个折扣；自己动手做小规模对比时，哪怕只跑三轮，也比单轮更能说明问题，毕竟三轮的平均值已经能把最离谱的运气对冲掉一大半。

方差自查清单

• 是否用固定参数重复跑了多轮？
• 报告里有没有给出波动范围？
• 两个模型的差距是否小于波动幅度？
• 结论里是否避免了「一次定胜负」的说法？

方差大时读分数的姿势

两个模型的差距小于波动范围时，先别急着宣布谁更强，这时需要显著性来判断差距是不是真东西，也可以用置信区间把浮动范围画出来再看。如果方差大到影响判断，可能是题目区分度不够，换一套更贴合的领域评测常比单纯加轮数更管用。反过来，分数异常整齐有时也值得留个心眼，背后可能有刷分的影子。

一句话收束：分数都带着毛边，学会和浮动共处，才不会被一次数字牵着鼻子走。

评测方差快问快答三则

• 评测方差和误差是一回事吗？：它特指重复测量之间的波动，来源在生成、判分和抽样三个环节，与测量工具的系统性偏差是两回事。
• 跑多少轮比较合适？：常见做法是三到十轮，波动大的任务适当加轮数，预算紧张就优先固定参数减少变量。
• 方差小就代表模型强吗？：只代表成绩稳定，水平高低仍要看平均分和任务难度，稳而低的情况同样常见。