攒大模型评测集时，很多人默认题越多越好。「评测集越大越好」错在把规模当成了质量：题多而杂会稀释信号、推高成本，还会混进与业务无关的题目。正确说法是规模服从目的，题集贵在贴得准、判得清，评测集贵在合适。
别再混淆了：测得全与测得准是两回事。全量铺开的题集像一锅乱炖，什么都有，什么都说不清。
算成本账时别漏了隐性项：题集越大，出题、审题、判分歧义处理的人力越多，跑分后要读的明细也越长，审题人力常被低估，写进计划再决定题量。人力成本是线性的，信号回报却是对数式的——题量翻倍，分辨力并不会翻倍。把钱花在写好一百道题，比花在凑一千道题划算，这笔账很多团队是踩过坑才算明白。
「贴得准」再展开一点：题目要与任务的真实输入分布对齐。高频场景占大头，边缘场景占小头，极端场景单独留一组靶题。照着真实日志配比出题，几十道就能逼近几千道大杂烩的分辨力，这是小题集能打的核心原因。
「判得清」是另一半：题面模糊、答案开放、标准分歧，再大的题集也测不出稳定名次。审题时做一道质检——三个同事独立判同一道题，答案不一致就回炉修题面。这道工序每小时能过几十题，性价比极高。
裁剪不是一次性动作，给个季度节奏：看三轮数据，全员接近满分的题退休、全员接近零分的题检查题面、中间地带的题保留并观察。三轮周期既给模型表现留了余地，也不至于让钝题赖在题集里吃成本。
扩容的正确时机也存在：当新题型开始在你的业务里高频出现、现有题集明显覆盖不足时，定向补一批新题，每批新题先小规模试跑一轮，判分稳定了再转正。扩容跟着业务信号走，而不是跟着越大越好的直觉走。
大评测集的成本账
题量翻十倍，跑分成本、维护成本、判分歧义都跟着涨。几千道题里真正与业务相关的可能只有一成，其余的只是在给均分添噪声。
题目质量比数量更稀缺
好题有三个特征：来源真实、判分清晰、覆盖关键场景。一道贴近业务的硬题，胜过一百道网上捡来的模糊题。DeepSeek、Kimi 在同一个高质量小题集上的名次差异，往往比大杂烩题集更能指导落地。
正确说法：规模服从目的
按目的配题量：筛候选用几百题的通用集；上线把关用几十题的业务集；专项排查用十几题的靶题组。目的变了，题集跟着换，而不是无脑扩容。
| 目的 | 题量 | 题集形态 |
|---|---|---|
| 筛候选 | 几百题 | 通用集，题型覆盖面优先 |
| 上线把关 | 几十题 | 业务集，题面照真实日志配比 |
| 专项排查 | 十几题 | 靶题组，集中打一个薄弱维度 |
按需裁剪评测集
定期审计题集：连续三轮各模型得分相近的题降权或退役；判分歧义大的题先修题面；过时场景的题换血。题集是工具，要保养，不是仓库，只进不出。
带走一个类比收束：题集像镜头，焦距对准业务才拍得清；镜头越大未必越清楚，对得上焦的小镜头，胜过对不上焦的大广角。定期对焦，题集才能一直替你说话。
相关阅读：「AI 裁判很客观」错在哪？看三个漏洞讲判分，「自己测的不算数」错在哪？新手版入门讲自建题集的规范，还有「不同语言的分数能直接比」错在哪？、「新模型一定赢旧模型」错在哪？与「评测分能预测商业效果」错在哪？。
自查清单
- 每道题都对应一个明确目的吗？
- 判分歧义大的题处理过吗？
- 最近一次题集审计是什么时候？
末句提醒：题集是手术刀，不是渔网。
关于「评测集越大越好」，问得最多的三个
- 多少题是合理起点？：通用筛选几百题，业务把关几十题，先跑通再扩。
- 大题集什么时候才有用？：做统计显著性分析和细分维度报告时，量才有价值。
- 裁剪会丢信息吗？：退役的题留档，需要复核维度时可以临时召回。
