跳到主内容

什么是胜率?两两对比的战绩,看完就会判断

2026-10-18 发布 来源:我告诉你AI导航 阅读

想知道两个大模型谁更强,最直接的办法是让它们同题正面交手,然后数胜负——赢的场次占总场次的比例,就是胜率。你在对比 DeepSeek 和豆包谁更好用时,对战榜上的那串百分比,说的就是它。

想知道两个大模型谁更强,最直接的办法是让它们同题正面交手,然后数胜负——赢的场次占总场次的比例,就是胜率。你在对比 DeepSeek 和豆包谁更好用时,对战榜上的那串百分比,说的就是它。

胜率怎么算出来的

流程不复杂:同一道题让两个模型各答一次或各答多次,由人工评审或模型裁判判哪边更好,赢一场记一场,最后赢场数除以总场数。打个比方,它像球队交手记录——甲对乙十场赢七场,你就大概知道谁占上风。类比失效之处:球队实力相对固定,而模型发挥随题目类型波动很大,甲在写作题上七成胜率,代码题上可能倒过来。判分者不同,同一批对局算出的胜率也不同,所以严谨的榜单会注明胜负由谁判定、判分指南是否公开。各答多次的做法还能顺带量出稳定性:同一道题答五次,四次好一次崩,胜率之外又多一层信息。有人建议把平局按五五开折算进胜率,也有人认为平局就该剔除,两种口径都有榜单在用,比较前务必对齐。样本量的下限没有死数,但经验上几百场起步、上千场才谈得上稳定,几十场的榜单只配当花絮。题目池大小也要看,题目翻来覆去就那几道,场次再多也是原地打转。更细的榜单会把平局率单独列出来,平局率异常高,说明题目区分度不够,或两个模型水平实在接近。简单说,胜率回答「这两个谁强」,等级分回答「全场谁强」,两个问题用两把尺子,别混着用。这个数字看着简单,坑全藏在细节里,尺子用对了地方才是尺子,用错了地方就是摆设。

场次太少会骗人

胜率最怕样本少。只打十场,七成胜率可能只是运气;打上几百上千场,数字才开始有参考价值。所以读榜先看对战量:没标场次只给百分比的榜单要多留个心眼。另一个常见坑是题目偏科——题库里写作题占八成,算出来的胜率只代表写作能力,代表不了全部。

平局算谁的

两个模型答得难分高下很常见,平局的处理方式直接影响胜率数字:有的榜单不计入总数,有的算半场,有的强制评审员二选一。同一场对局,算法口径不同,胜率能差出好几个点,跨榜单比较前先确认口径是否一致。

平局口径具体算法跨榜比较时的处理
不计入总数平局不进分子也不进分母先问清是否剔除平局再比
算半场平局按各得半分计入与剔除口径不能直接并列
强制二选一评审员必须判出高下结果会带上评审的个人偏好

胜率和等级分是什么关系

胜率是原始战绩,等级分是把战绩折算成排位的算法,两者常一起出现:对战细节用胜率看,总排名用 Elo 看,排位算法见什么是 Elo 等级分?对战的排位。谁来判定胜负也很关键——人评的流程见什么是人机对比评测?人和机器一起评,模型评审的机制与风险见什么是 AI 裁判?用模型评模型;评审自己带偏向时,胜率也会失真,见什么是裁判偏好?裁判自己的毛病。

胜率速查表

  • 算法:赢场数除以总场数,平局口径要先确认。
  • 前提:场次要够多,题目分布要均衡。
  • 用法:适合两两比较,不适合跨题域泛化。

先看场次再看百分比,顺序别反。

一句建议收尾:把胜率当作两两比较的尺子,别当全面评价。想知道甲和乙谁强,看他们直接交手的胜率;想知道甲是不是全能选手,胜率给不了答案,要看分题域的成绩。

胜率快问快答三则

  • 六成胜率算强吗?:要看场次和题目分布,场次太少或题目偏科,数字都靠不住。
  • 胜率高的模型一定值得换吗?:不一定,差距在一个百分点内基本没有实际意义,差距大也要结合你常用的任务类型。
  • 价值观层面的对错也能用胜率比吗?:能但更难判,那类考题的思路见什么是对齐评测?价值观的考卷,通俗版解释。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]