SuperCLUE 是中文通用大模型的综合性评测基准，由 CLUE 团队维护，覆盖语言理解、知识应用、逻辑推理等维度，定期发布榜单。它常被当作「哪个模型更强」的依据，但榜单的用途比排名窄得多：它能说明模型在标准化题目上的表现，不能说明它在你业务上的表现。这篇讲清分数能说明什么、不能说明什么、以及选型时该怎么用自己的题集验证。
榜单测的是什么
测的是模型在固定题集上的正确率，题集覆盖多个能力维度，题型以选择题与简答为主。这种设计的好处是可复现、可横向比较；局限是题目有边界——真实业务里的问题往往没有标准答案，还夹杂大量上下文。所以榜单分数更像「体检报告」，能看出大致水平，看不出具体病灶。理解这一点，就不会拿分数直接做采购决定。
分数不能直接比的三個原因
第一，题型权重不同：某个模型在选择题上强，在开放生成上未必。第二，版本与提示方式不同：同一模型换一个提示模板，分数能差好几分。第三，题目污染：公开题集可能进入训练数据，分数虚高。三个原因里第三个最难排除，也最容易被忽略。看榜单时先看评测说明里的题型构成与提示设置，再看分数，顺序别反。评测榜单的通用读法，为什么分数不能直接比一篇讲得更细。
| 不可直比的原因 | 具体表现 | 读榜时怎么处理 |
|---|---|---|
| 题型权重不同 | 选择题强，开放生成未必强 | 先看题型构成 |
| 版本与提示方式不同 | 换个提示模板，分数能差好几分 | 先看提示设置 |
| 题目污染 | 公开题集可能进了训练数据 | 最难排除，也最容易被忽略 |
| 注：文中以体检、诊断作比喻说明榜单的局限，不构成医疗建议。 | ||
怎么用自己的题集验证
三步：从历史请求里抽一百条真实问题；人工标好「可用/不可用」；同一批输入跑两三个候选模型，盲评。三步里第二步最关键，标注标准要写下来，否则不同人标出来的结果没法比。跑完看两个数：可用率，以及不可用的原因分布。原因集中在长文截断就查上下文，集中在答非所问就查提示词。这套方法比看任何榜单都可靠。
榜单在什么场景下有用
三种：初筛候选、看趋势、以及向非技术同事解释选型依据。初筛时用榜单把二十个模型缩到五个，再用自己的题集验证；看趋势时关注同一模型跨版本的分数变化，比关注排名更有信息量；向同事解释时，榜单是一个共同语言，能省掉很多「为什么选这个」的争论。三种场景都不涉及「直接按排名采购」。
看榜单的四个习惯
一看评测机构是否公开方法与题集；二看是否区分基础能力与专业能力；三看是否给出置信区间或多次运行结果；四看更新时间。四个习惯里第一条最重要，方法不公开的榜单只能当参考。另外提醒一句：中文评测与英文评测的结论经常不一致，做中文产品就以中文评测为主，别拿英文榜单指导中文场景。选型的整体方法，按任务选 AI一篇有更完整的框架。
SuperCLUE 速查
- 测的是固定题集上的正确率，像体检不像诊断
- 分数不可直比三因：题型权重、提示方式、题目污染
- 自测三步：抽真实问题、人工标注、盲评对比
- 榜单三种用法：初筛、看趋势、对外解释
- 中文产品看中文评测，别用英文榜单指导
关于 SuperCLUE 的三问三答
- 排名第一就是最该选的吗？：不是。排名反映题集表现，和你的业务场景可能关系不大。
- 多久更新一次？：按版本周期更新，具体节奏看官方发布。
- 能用于采购决策吗？：可以作为初筛依据，最终决策要用自己的题集验证。
榜单是地图，不是路。地图告诉你大致方向，走不走得通，还得自己走一遍。榜单之外，按任务选 AI给了另一种选型路径：先定任务，再定工具，最后才看分数。
