查大模型成绩单时会碰到两类来源：开源评测和闭源评测。前者题目、代码、判分规则全公开，人人可复核；后者由机构或厂商自持题集，外界只见分数不见细节。结论先说：做严肃选型，开源评测当主粮，闭源评测当参考；只有闭源结果支撑的结论，要多问一句凭什么。
两者的差别不在分数高低，而在可信度的来源：开源评测靠可复核赢信任，闭源评测靠专业性与时效性赢信任，路径完全不同。
选评测来源时，先问自己三个问题：我要回答的是选型问题还是复核问题？我需要别人能复核我的结论吗？我能承受多大的换题频率？三个答案拼出来，来源自然清晰。举例来说，写给内部评审的报告，引用闭源机构结果时要附上开源榜交叉验证；面向公众的技术分享，尽量只用可复核的开源结果，免得被人追问时拿不出依据。给常用来源建一张底账，把翻过车的记录也写进去，历史问题最值得记下来。
开源与闭源之间还有一个中间态值得利用：方法论公开、题目定期轮换的半开放评测。它兼顾了透明与防泄漏，近年越来越多机构采用。遇到这类来源，重点看轮换记录是否完整、历史分数是否可追溯，这两点决定它比纯闭源多出的那部分可信度是否真实；换题频繁的来源，横向可比性也会打折，底账里把换题时间记下来。
还有一个实用习惯：给常用评测来源建一张底账，记录口径、频率、换题历史和你的信任等级，一年维护一次。选型时翻底账比临时找资料快得多，也让团队对新旧结论的分量有一致的判断；新人接手时，一张底账能省下整整一周的功课。
开源评测的可复核性
题集公开意味着任何人都能下载、重跑、挑错。社区发现坏题可以公开讨论并修订，分数因此能持续修正。像 ModelScope 上的评测任务、各家开源榜单都属于这一类，缺点是题目公开久了容易泄漏进训练数据。
闭源评测的保密与更新
闭源题集不公开，泄漏风险低，还能高频换题保持新鲜。代价是外人无法验证判分是否合理，只能选择信或不信。文心一言、讯飞星火等厂商自报的成绩多属此类，看的时候留意有没有第三方复核。
两者结果为什么常对不上
对不上的原因有三：题目分布不同、判分口径不同、测试时间不同。同一个模型在开源榜和闭源榜相差十分并不罕见，先查口径再谈谁准。
| 对不上的原因 | 具体表现 | 怎么核对 |
|---|---|---|
| 题目分布不同 | 两边抽样自不同题库，覆盖的题型与难度配比不一样 | 对比各自公布的题型构成，看哪边更贴近你的任务 |
| 判分口径不同 | 一边用规则判，一边用裁判模型或人工，边界题的归属不一样 | 问清判分器与容差设置，必要时同题重跑 |
| 测试时间不同 | 一边测的是新版，一边还是上一代，中间隔了几个月 | 核对测试日期与版本号，错位的名次直接作废 |
按需选择评测来源
初步圈候选，看开源榜单，胜在透明；复核关键能力，找有方法论说明的闭源报告或自建私藏题；两者结论冲突时，用自建小题集做仲裁。
带走一个判断：评测来源的选择，本质是在透明与时效之间定价。愿意多花时间复核，就多信开源；赶时间窗口，就用闭源结果加自测兜底。定价清楚，来源混用才不会乱。
延伸阅读：均分和分数分布有什么区别？适用场景分开讲帮你看懂数字，评测集和训练集的隔离有什么区别？讲清前提，还有一次性评测和持续评测有什么区别？、模型对比和版本回归有什么区别？与官方声明和实测验证有什么区别？可以连着读。
对照表
- 开源评测：题目公开、可复核、防泄漏压力大。
- 闭源评测：题目保密、更新快、透明度有限。
- 冲突时用自建题集仲裁。
带走一句：可复核的分数才值得长期引用。
关于开源评测和闭源评测再多问三句
- 闭源评测就不可信吗？：不是不可信，而是要看出具方是否说明方法、有无第三方参与。
- 小团队能自建闭源题集吗？：能，几十道私藏题就有仲裁价值。
- 开源榜被背题了怎么办？：看维护方是否换题重测，长期不换的榜单降权处理。
