AI 跑分高不一定好用。基准测试衡量的是模型在特定题型上的表现，而你的日常体验由中文理解、指令遵循、语气风格、稳定性等一串因素共同决定，两者重叠但不等同。看懂跑分测什么、不测什么，再用一套自测方法补上盲区，选模型才不会被榜单数字牵着走。
跑分测的是什么与不测什么
常见基准覆盖知识问答、推理、代码、数学等题型，每项给出可比较的分数。它的局限同样明确：题型有限，覆盖不了你的具体任务；多数基准以英文为主或中英混测，中文场景的细节差异反映不充分；分数是静态快照，模型每周都在更新，榜单更新却常常滞后。跑分能当筛选器——分数明显落后的先排除——但不能当选择器，最终选择要靠实测。题型局限还体现在风格上：基准题往往有标准答案，而真实任务常常是开放式的，没有唯一正确，评分标准本身就模糊。
数据污染让分数失真
基准题库是公开的，模型训练时如果见过题目和答案，分数会虚高而能力没跟上，这就是数据污染。它解释了为什么有的模型榜单分数亮眼、遇到新题就露怯。厂商宣传时通常引用自家占优的基准，对比不同产品的分数时，先确认评测的是否同一版本、同一口径，再用新题验证——被污染的分数扛不住没见过的新题。污染并不容易察觉，连模型的「思考过程」都可能背熟了标准解法，所以验证要用日期很新的题目，或者自己临场编的变形题。
分数与体验脱节的场景
几类典型脱节值得记住：长对话里跑分高的模型未必守得住开头交代的约束；写作任务上「更聪明」的模型可能写得过于书面、不像人话；工具调用、格式遵循这类工程能力，基准里几乎测不到，实际用起来差距却很大。还有响应速度与排队稳定性，与分数完全无关，却直接决定你愿不愿意天天用。还有一种脱节来自任务错配：模型的长项与你的高频任务不一致，分数再高也用不上，选型先看任务匹配，再看综合分数。
自建小题集的测法
最可靠的办法是建一份自己的小题集：从真实工作里挑十来个代表性任务，原样写成提问，多轮对话场景也照实收录。候选模型各跑一遍，按四个维度打分——答案质量、指令遵循、格式与语气、是否需要反复返工。题目半年更新一次，把过时与新题替换掉。这套题集比任何外部榜单都贴合你的需求，十几分钟的投入，每次选型都能复用。评分时找一位不了解模型身份的同事帮忙盲评，能去掉先入为主的印象，一个人评也行，但两次评分之间隔上几天。
读榜单的三个习惯
读榜单时保持三个习惯：看题型构成，确认里面有你要用的任务类型；看对比对象，同期同量级的模型对比才有意义，拿新旗舰与旧中端模型比出来的优势没有参考价值；看分数差距，差距在几个点以内的排名先后基本是噪声，别当成结论。榜单之外，社区里的一手使用反馈同样有价值，负面反馈尤其值得读，被抱怨最多的地方，往往就是你会踩的坑。榜单告诉你候选名单，答题集告诉你答案，顺序别反。
跑分与体验的三个追问
- 两个模型跑分接近，实际用起来为什么差别明显？：跑分接近只说明特定题型能力相近，语气、中文语感、指令遵循、稳定性这些不进榜单的维度差距可能很大，用你自己的任务实测才有结论。
- 厂商发布的评测成绩可信吗？：当参考可以，当结论不行。自选基准有天然偏向，优先看第三方复测结果，再用自建题集验证。
- 有没有必要每次新模型发布都重测一遍？：高频使用 AI 的岗位值得做，小题集现成、重测成本很低；低频用户跟着自己真实需求的痛点走即可，不必追新。
