「跑分高就是好模型」是大模型选型里流传最广的误会。错在哪？跑分衡量的是固定题集上的平均表现，而你的任务有自己的分布、约束和容错标准，平均分盖不住具体任务。正确说法是：分数是入围线，越过线的都值得进候选池，录取要靠自己的任务再考一次。
那个例子里还有一个细节值得放大：团队当初看过明细，可榜单压根没提供指令跟随的明细。这就是公开评测的结构性局限——它为可比性服务，不为你的场景服务，没考的维度在报告里就是空白。空白不等于没问题，只等于没人测，而上线后总会有人替你测，代价是投诉。
把「分数是入围线」再往深推一步：入围线本身也要挑榜单。哪套榜单的题型和你的业务重合度高，就用哪套入围；重合度低的榜单，看看趋势就好，榜单的方法论文档读十分钟，比多看十个名次有用。挑榜单的标准与挑模型的思路其实一致——先看它考什么，再看它怎么判分，最后才看名次。
复测环节给个可执行的量：每个候选模型跑三十到五十条自建样例，分五类题型各留六到十条。这个量撑不起统计显著性，但足以暴露「明显不合身」的候选，把大错挡在试点之前；剩下的精细比较交给小流量试点。
最后记住时间维度：跑分反映的是测试那天，落地用的却是接下来一年。把版本日期写进选型结论，再写一句「下次复核时间」，落日条款避免旧结论赖着不走。
先讲透那一个例子。某团队选文摘模型，A 模型榜单综合分 89，B 模型 85，按分数选了 A。上线两周，反馈不断：A 在长指令任务上频繁漏掉「保留编号」「限定字数」这类硬约束，而 B 稳定达标。回头看分题型明细，A 的短板恰好藏在榜单不重点考的指令跟随子集里。一个例子说明一件事：平均分高，不等于你的那道题得分高。
跑分衡量的是平均
榜单分数是把几十个题型加权后的结果，权重由榜单制定者定，不由你的业务定。你依赖的题型哪怕占比很小，翻车了总分也看不出波澜。无论是 DeepSeek 还是 Kimi，每个版本的成绩都在变，唯独你业务的权重永远不变。
分数的三个盲区
一是题型盲区，榜单没考的它不反映；二是约束盲区，字数、格式、编号这类硬要求很少进公开题；三是时效盲区，名次对应的是测试当时的版本，过几个月就要重新核对。
| 盲区 | 具体是什么 | 上线后会怎样 |
|---|---|---|
| 题型盲区 | 榜单没考的维度在报告里就是空白 | 你依赖的题型恰好没考，翻车时总分看不出波澜 |
| 约束盲区 | 字数、格式、编号这类硬要求很少进公开题 | 长指令任务上频繁漏掉「保留编号」「限定字数」 |
| 时效盲区 | 名次对应的是测试当时的版本 | 过几个月模型已换版，名次不再代表现状 |
正确说法：分数是入围线
把流程改成三步：榜单圈定前若干名；候选模型跑你的自建样例；按题型看明细再拍板。这样分数就回归了它的本分——筛掉明显不合格的，而不是给模型封圣。
带走一句：跑分是模型的履历，自测是模型的面试，试用是模型的实习期。三关都过才发录用通知，只看履历就发通知的流程，再严谨也难免看走眼。
配套阅读：官方声明和实测验证有什么区别？与榜单排名和选型决策有什么区别？讲分数怎么用；「榜单一定没污染」错在哪？看完就会判断、「评测一次就够」错在哪？通俗版解释与「差 0.5 分就是有差距」错在哪？继续拆别的误区。
自查清单
- 榜单权重与你的任务占比对得上吗？
- 候选模型跑过你的自建样例吗？
- 看总分之外，分题型明细看了吗？
末句提醒：入围看榜单，录取看自测。
关于「跑分高就是好模型」，问得最多的三个
- 榜单头名总不会错吧？：它只是那套题上的领先，换一套题名次就可能重排。
- 自建样例多少条才有说服力？：几十条贴近业务的样例，比上千条泛泛的题更有用。
- 分数相同怎么挑？：比稳定性、价格与延迟，再看分题型明细谁更贴场景。
