国际象棋界排位用 Elo 等级分算了很多年,如今这套算分方法被搬进了 AI 排行榜:大模型两两对战,赢家涨分、输家掉分,场次越多排位越准。你看讯飞星火、海螺AI 相关的对战榜时,背后的名次大多就是这么折算出来的。
从棋盘搬进 AI 排行榜
Elo 的原始想法很朴素:每场比赛的结果只改两个数字——赢家加多少、输家减多少,加减多少取决于赛前双方的分差。打个比方,它像游戏里的排位赛:赢下高分选手涨得多,赢下低分选手涨得少。类比大体成立,失效处在于棋手状态起伏有限,而模型对题目的适应能力差异很大,同一对选手在不同题域交手,强弱关系可能翻转,这是简单 Elo 覆盖不到的。
一场对局之后分数怎么动
直觉版规则:赛前分差越大,冷门获胜的得分越多,热门获胜的得分越少;平局则两边小幅调整。这意味着 Elo 不只看你赢没赢,还看你赢的是谁。连胜高分选手,名次爬得飞快;只在低分选手身上赢,涨分有限。正因如此,Elo 对「以弱胜强」格外敏感,也格外有信息量。
| 对局结果 | 分数怎么动 | 读榜时的含义 |
|---|---|---|
| 赢下高分选手 | 涨分多,名次爬得快 | 以弱胜强的信息量最大 |
| 只在低分选手身上赢 | 涨分有限 | 连胜的含金量要看对手是谁 |
| 输给低分选手 | 掉分最多 | 冷门失利最伤名次 |
| 双方打平 | 两边小幅调整 | 说明两人实力接近 |
为什么场次多了排名才稳
刚开榜时分数波动很大,几十场之后才逐渐收敛,所以榜单早期名次要少看。对战样本的来源也关键:如果题目偏科或对战双方出场不均衡,分数会有系统性偏差。规范的榜单会公布对战量和置信区间,胜负统计的读法见什么是胜率?两两对比的战绩,看完就会判断。实战里常见新模型上榜当天冲高、几天后回落,就是小样本波动的典型样子。对战量的另一面是新鲜度:老分数与新分数混在一起,也会把名次搅浑,滚动窗口的榜单就是这么来的。还有一种读法是看趋势线,分数一路走高说明近期状态好,一次大跳水则值得查查那几天对战了什么题。棋界百年验证的算分逻辑,换到模型身上依然成立,只是考题换成了千奇百怪的日常任务。排位不是拍脑袋定的,每一分背后都是一场场实打实的对战,分数涨跌背后有一套自洽的账本。强手赢弱手是预期之内,涨不了几分;爆冷赢下强手,分数会明显上跳,所以冷门对局最受关注。想追势头正猛的新模型,看它的分数斜率比看当前名次更灵。
Elo 数字怎么读
两条实用读法:第一,看差距不看名次,分差几十分内的高低别太当真,几百上千的差距才比较有说服力;第二,看对战场次和题目分布,场次太少或题目单一,数字都不可靠。对战的评审如果是模型来当,误差还会叠加,机制见什么是 AI 裁判?用模型评模型,裁判自身的偏向问题见什么是裁判偏好?裁判自己的毛病。而让真人参与对战的整套流程,在什么是人机对比评测?人和机器一起评里有细讲。
Elo 速查表
- 是什么:把对战胜负折算成排位分的算法。
- 怎么动:胜负加减分,幅度随赛前分差变化。
- 怎么读:看分差、看场次、看题目分布。
三条都核对过,再相信名次。
把 Elo 想成排位赛积分就好办了:场次要够多、对手要够杂,数字才有含金量。只有十几场对局的排行榜,看看就好,别急着改用谁。
关于 Elo 等级分再多问三句
- Elo 会掉分吗?:会,输给低分选手掉得比输给高分选手更多,冷门失利代价最大。
- 不同榜单的 Elo 能直接比吗?:不能,各自题库、对手池和起算点不同,只看同一榜单内的相对差距。
- 盲测和 Elo 什么关系?:盲测管题目保密,Elo 管算分,两者常一起用,保密机制见什么是盲测集?不公开的题目,一个例子讲透。


