大模型榜单前十挤在同一个分数段,彼此只差零点几分,这份榜单就该被追问了:评测的「天花板」是怎么看的?题库难度存在上限,模型能力涨到接近上限时,分数饱和,榜单开始丧失区分度。这篇讲天花板怎么显形、饱和之后怎么办。
天花板是怎么显形的
信号有三:头部模型分数扎堆、题目通过率逼近满分、新旧版本分数差距收窄到与波动同量级。机制上,每套题的难度分布决定了它能分辨的最大能力跨度,超过这个跨度,再多能力增长也换不来分数增长。判断扎堆是波动还是真饱和,先排除解析环节的封顶效应——都满分时解析已无影响,见输出解析影响。
饱和还有区域性:一份综合榜单里,可能知识板块已经顶到上限,推理板块还有充足空间,整体看接近饱和,分板块看仍有区分度。所以判断饱和要看板块结构,别被总分掩盖。榜单方公布分板块的通过率与分数分布,读者才能自行判断哪些维度还在出信息、哪些已经失效。这种粒度的披露成本不高,多数榜单方有现成数据,缺的往往是发布习惯。分板块披露做得好的榜单,即使在整体饱和期也保住了实用价值;读者侧也可以自己动手,用官方公布的分项数据重组出有区分度的观察角度。数据的粒度越细,饱和期的回旋余地越大。粒度,就是饱和期的救生圈。
饱和之后榜单还剩多少信息量
头部失去区分度,中尾部仍有:对追平头部的模型,榜单不再敏感,对下游模型依然可用。但读者注意力集中在头部,饱和榜单的实际信息传递效率已经大幅衰减。秘塔AI搜索上检索评测解读时,会看到大量「又饱和了」的讨论,正是这个现象的注脚。
换题还是加深
两条路:换题库重开一局,代价是历史分数断档,可比性靠锚题维持,权重设计见榜单权重设置;或者在原题库内加深难度、增加过程分观测点,让现有分数结构继续出信息,做法见过程分机制。智谱清言团队在公开分享里倾向组合使用:小步加深维持连续性,攒够新题后整体换代。
| 路线 | 代价 | 保住了什么 | 适合什么阶段 |
|---|---|---|---|
| 换题库重开一局 | 历史分数断档,可比性只能靠锚题维持 | 难度水位与区分度 | 攒够新题、旧题已明显泄露时 |
| 在原题库内加深难度 | 改动幅度有限,天花板迟早还会到 | 历史分数的连续性 | 头部刚开始扎堆、还想维持趋势时 |
| 增加过程分观测点 | 要多投人力做步骤清单与判定 | 同一批题的额外信息量 | 结果分已经封顶、但仍想知道差在哪 |
读榜时怎么对待天花板
三个动作:看头部差距是否小于波动幅度,是则按并列理解;看榜单方是否公布题目通过率分布,公布者更可信;看宣传方是否拿饱和榜单上的微小领先说事,识别手法见分数话术识别。多维度呈现能部分缓解单榜饱和的失真,读法见雷达图解读。
不同任务的天花板高度差异很大:知识记忆类题目最容易饱和,多步推理类空间更大,开放生成类几乎难以触顶。读榜时先判断榜单主体属于哪一类,再决定分数差异怎么解读。拿知识类榜单上的并列推断「能力接近」,可能只是题目太容易;推理类榜单上的小差距反而更值得关注,参考价值更高。
饱和期也是评测方调整定位的窗口:与其在头部区分度上硬耗,不如把资源转向细分场景,垂直领域的小题集往往更能提供差异化信息。头部模型的进步需要有针对性的量尺,通用大榜的天花板效应恰恰提醒各方:量尺要跟着被测对象一起进化,一成不变的榜单注定被时代抛下。
天花板信号速查
- 头部扎堆:差距与波动同量级
- 通过率逼近满分
- 版本间差距持续收窄
- 应对:小步加深+攒题换代
评测天花板快问快答三则
- 饱和是坏事吗?:对榜单是危机,对行业反而是好消息,说明模型整体能力上了一个台阶。
- 怎么提前预判饱和?:跟踪头部模型逐版本分数曲线,增速持续放缓就是前兆。
- 换题后老分数就全废了?:留有锚题的榜单可以折算衔接,没有锚题就只能存档备查。


