多次运行的均值是怎么报的？每一步都讲透

只跑一遍就把大模型的成绩定稿，等于把运气也算进了分数，这就是为什么严肃评测都强调多次运行。多次运行的均值是怎么报的？跑几次、怎么平均、除均值外还要附上哪些数，每个决定都会影响结论的可信度，这篇逐项讲透。

为什么要跑多次

单次运行里，采样随机与判分抖动都只有一份样本，好坏全凭运气。跑多次拿到的是分布而非单点：均值反映一般水平，波动幅度反映稳定程度。两者合起来才构成对模型的真实描述，只报其一都有误导。波动从哪来，可回看评测方差。

分布思维还能带来更细的观察：多次运行后不难注意到，模型的失分模式相当稳定——错的总是那几类题，对的那几类题基本回回都对。稳定对与稳定错夹着一块摇摆区，摇摆区的大小才是模型能力的真实边界。单次运行看不到摇摆区，一次侥幸得分会被当成稳定能力，一次偶然失手会被记成硬伤。跑多次的价值，一半在让均值更准，另一半在把摇摆区暴露出来，后者对改进模型往往更有用。看成绩单时多问一句摇摆区在哪，比只盯着均值高低更有信息量；这个视角对选模型同样适用，摇摆小的模型在真实使用里更省心。

跑几次才算数

次数取决于任务波动大小：波动小的分类题三五次足够，波动大的生成题要十几二十次。实用做法是先跑五次看波动幅度，幅度大就加跑。豆包团队在内部回归里就采用先探后定的策略。次数与成本的换算账，可参考评测成本估算。

均值之外还要报什么

合格的成绩单至少四件套：均值、波动幅度、运行次数、判分口径。进阶一点会报通过率曲线，比如 pass@k——k 次里至少对一次的比例，对代码与数学任务尤其有信息量。ModelScope 上不少开源评测结果都按这个格式组织。只报均值不报幅度的成绩单，说服力要打折。

均值怎么取才不踩坑

默认取算术平均即可，但要防两种操作：丢弃跑差的几轮只留好看的，或者跑到满意为止才收手，这两种都会把均值人为推高。规范的运行方案要预先写死次数与取舍规则，结果与显著性判定配合使用；跨硬件复现时的均值差异，归因见硬件与跑分关系。一个可带走的判断：均值可以商量，运行规则不能事后商量。

运行次数与置信度的关系也可以反过来用：先定下「希望均值误差控制在多少以内」的目标，再按预估波动幅度倒推需要跑几次，这样预算与精度直接挂钩。波动大的任务想压误差，次数会指数级上涨，此时更现实的选择是接受较宽的区间、在报告里如实呈现，而不是无限加跑。目标定得现实，数据才有说服力。

多次运行还有一个附带好处：过程数据积累下来，能算出每道题的通过率分布，暴露出那些「时对时错」的边界题目。这些题目正是模型能力的不稳定区，也是最有改进价值的地方。只跑一遍的评测永远看不到这层信息，这算是重复实验给认真做事的团队带来的额外收获。

多次运行速查表

• 先探五次，波动大再加跑
• 四件套：均值、幅度、次数、口径
• 生成类任务建议 pass@k 一起报
• 次数与取舍规则预先写死

多次运行均值快问快答三则

• 跑多次算不算一种作弊？：预先声明次数并全量报告就不是，跑到满意为止才是。
• pass@k 里 k 怎么选？：贴合真实使用场景，允许重试的任务 k 取大些，一次定输赢的任务看 k=1。
• 波动幅度报什么形式？：常用标准差或分位区间，重点是让读者能对两个模型做同口径比较。