想知道两个大模型谁更强,最直接的办法是让它们同题正面交手,然后数胜负——赢的场次占总场次的比例,就是胜率。你在对比 DeepSeek 和豆包谁更好用时,对战榜上的那串百分比,说的就是它。
胜率怎么算出来的
流程不复杂:同一道题让两个模型各答一次或各答多次,由人工评审或模型裁判判哪边更好,赢一场记一场,最后赢场数除以总场数。打个比方,它像球队交手记录——甲对乙十场赢七场,你就大概知道谁占上风。类比失效之处:球队实力相对固定,而模型发挥随题目类型波动很大,甲在写作题上七成胜率,代码题上可能倒过来。判分者不同,同一批对局算出的胜率也不同,所以严谨的榜单会注明胜负由谁判定、判分指南是否公开。各答多次的做法还能顺带量出稳定性:同一道题答五次,四次好一次崩,胜率之外又多一层信息。有人建议把平局按五五开折算进胜率,也有人认为平局就该剔除,两种口径都有榜单在用,比较前务必对齐。样本量的下限没有死数,但经验上几百场起步、上千场才谈得上稳定,几十场的榜单只配当花絮。题目池大小也要看,题目翻来覆去就那几道,场次再多也是原地打转。更细的榜单会把平局率单独列出来,平局率异常高,说明题目区分度不够,或两个模型水平实在接近。简单说,胜率回答「这两个谁强」,等级分回答「全场谁强」,两个问题用两把尺子,别混着用。这个数字看着简单,坑全藏在细节里,尺子用对了地方才是尺子,用错了地方就是摆设。
场次太少会骗人
胜率最怕样本少。只打十场,七成胜率可能只是运气;打上几百上千场,数字才开始有参考价值。所以读榜先看对战量:没标场次只给百分比的榜单要多留个心眼。另一个常见坑是题目偏科——题库里写作题占八成,算出来的胜率只代表写作能力,代表不了全部。
平局算谁的
两个模型答得难分高下很常见,平局的处理方式直接影响胜率数字:有的榜单不计入总数,有的算半场,有的强制评审员二选一。同一场对局,算法口径不同,胜率能差出好几个点,跨榜单比较前先确认口径是否一致。
| 平局口径 | 具体算法 | 跨榜比较时的处理 |
|---|---|---|
| 不计入总数 | 平局不进分子也不进分母 | 先问清是否剔除平局再比 |
| 算半场 | 平局按各得半分计入 | 与剔除口径不能直接并列 |
| 强制二选一 | 评审员必须判出高下 | 结果会带上评审的个人偏好 |
胜率和等级分是什么关系
胜率是原始战绩,等级分是把战绩折算成排位的算法,两者常一起出现:对战细节用胜率看,总排名用 Elo 看,排位算法见什么是 Elo 等级分?对战的排位。谁来判定胜负也很关键——人评的流程见什么是人机对比评测?人和机器一起评,模型评审的机制与风险见什么是 AI 裁判?用模型评模型;评审自己带偏向时,胜率也会失真,见什么是裁判偏好?裁判自己的毛病。
胜率速查表
- 算法:赢场数除以总场数,平局口径要先确认。
- 前提:场次要够多,题目分布要均衡。
- 用法:适合两两比较,不适合跨题域泛化。
先看场次再看百分比,顺序别反。
一句建议收尾:把胜率当作两两比较的尺子,别当全面评价。想知道甲和乙谁强,看他们直接交手的胜率;想知道甲是不是全能选手,胜率给不了答案,要看分题域的成绩。
胜率快问快答三则
- 六成胜率算强吗?:要看场次和题目分布,场次太少或题目偏科,数字都靠不住。
- 胜率高的模型一定值得换吗?:不一定,差距在一个百分点内基本没有实际意义,差距大也要结合你常用的任务类型。
- 价值观层面的对错也能用胜率比吗?:能但更难判,那类考题的思路见什么是对齐评测?价值观的考卷,通俗版解释。


