胜率是怎么统计的？场次与波动，关键步骤一次讲清

两个模型对打几百场，赢的场次除以总场次就是胜率，听起来简单，统计口径里藏着不少门道。胜率是 AI 大模型对战类评测里最直观的数字，也最容易被误读：同样是六成胜率，五十场打出来的和五千场打出来的，分量完全不同。

胜率是怎么数出来的

分子分母都有讲究。分子是有效获胜场次数：平局怎么算，是按半场折算还是剔除出分母，口径要先定死。分母是有效总场次：被中断的比赛、判分失败的场次要不要剔除，规则要写明。题目重复率也要管理，同一道题反复出现会让场次虚高，实际信息量没那么大。还有一个绕不开的问题是 matchups 的构成：A 对 B 的胜率，是在同一批题目上打出来的，题目分布不同，胜率就不可比。规范的统计表会附上口径说明，看不到口径的胜率先打个问号。

场次与波动的关系

五十场里赢三十场是六成，再打五十场可能掉到五成二，这中间没有谁变强变弱，纯属抽样波动。场次越少，胜率的橡皮筋越松。实用参考线是：一两百场以内的胜率只当线索，三五百场以上的胜率才适合当证据。想知道手里的场次够不够，可以看胜率随场次的走势：场次翻倍后数字还在大幅跳动，说明样本仍不够。还有一个快速估算：胜率越接近五成，需要的场次越多才能区分，一边倒的对局几百场就足够说明问题。波动还有另一个来源——判分环节本身的抖动，尤其裁判参与判胜负时，相关的抖动控制见裁判模型校准。

场次落在不同档位，同一串数字能承担的分量差得很远。

对手强弱对数字的影响

六成胜率在弱手堆里可能只是中游，在强手堆里就是顶尖。所以单看一个胜率数字会骗人，要看清三件事：对手池的构成、分场次的细分胜率、以及把对手强度折算进去的综合指标。同一对手池内的横向比较才有意义，跨池比较要格外小心。Kimi 与豆包这类产品在不同第三方对战平台的胜率出入不小，多数时候并非数据造假，而是对手池不同的缘故。

胜率统计检查单

• 平局与无效场次是否事先定了处理规则？
• 场次是否达到数百场量级？
• 对手池构成是否公开？
• 是否附了随场次的波动说明？

胜率要搭配什么看

单打一的胜率最多算半份证据。搭配一：分题型胜率，写作题赢、代码题输的结构信息远比总分有用。搭配二：换算成排名类指标，比如把胜负序列交给Elo 计算，让对手强度进入分数。搭配三：与客观题成绩互验，对战胜率高而客观题平平，要防评委偏好被模型风格利用。另外，对战评测只是能力拼图的一块，长文本场景要看大海捞针的成绩，代码场景要看代码评测的沙箱跑出的用例通过率，数学场景可参考数学答案判分的口径，把几个维度的数字放到一起，才敢下结论。

统计胜率时的另一个隐形变量是题目难度分布。用简单题对打，强模型的碾压优势被摊平，胜率趋近五五开；用高难题对打，能力差距被放大，胜率可能一边倒。所以严谨的对战评测会控制每场题目的难度配比，或者按难度分层分别报告胜率。还有一个常见坑是自选题：让被测模型方自己挑考题，胜率几乎必然失真，正规平台坚持由中立方统一出题，这条红线值得所有自建对战评测的团队记牢。

关于胜率统计，问得最多的三个

• 胜率多少才算明显更强？：要结合场次与对手池，量级不足时哪怕七成胜率也可能是波动，场次充足时五成五以上的稳定优势就值得重视。
• 平局算谁的？：通行做法是按半胜折算进胜率，或者单独列出平局率，两种都要在口径里写明。
• 为什么不同平台给出的胜率差异大？：对手池、题目分布与判分方式都不同，数字没有对错之分，只是各说各的参照系。