自建评测的题目从哪来？机制细节全梳理

想知道一个大模型在你的业务里到底几斤几两，公开榜单帮不上忙，答案要靠自建评测，而它的起点是题目。题目从哪来、怎么筛、怎么存，决定了整套评测有没有意义，本文按机制细节逐层梳理。

一句话结论：靠谱的题目来源只有三条路——从真实使用记录里捞、由懂业务的人写、从现成题集改写去重，三条路各有分工，混着用才稳。

为什么公开榜单不够用？因为公开题面向所有人，测的是普遍能力；你的业务里那些行业术语、内部格式、特有流程，公开题根本不覆盖。自建评测的意义就在这里：把「我的场景」变成可测的题。

第一条路：从真实记录里捞

有价值的题藏在真实对话与工单里：用户反复问的问题、处理起来最费劲的请求，天然贴近实际使用。做法是把记录脱敏、去标识、归类合并，再由人复核后入库。这条路的难点在于隐私处理与数量控制，捞出来的题要抽样回看，避免把个案当成共性。记录要保留原始时间与来源标签，日后追溯与分层都靠它们；采集脚本要固定字段，别让格式五花八门。取样比例怎么拿捏，可对照评测的抽样策略是怎么定的。

第二条路：由懂业务的人写

业务专家手写题目能精准覆盖关键场景，比如行业术语的理解与转述、特定格式的生成、多轮追问的衔接。写题时要同步写下评分要点与参考答案，否则后面判分会各说各话；每道题标注难度与考查点，方便日后分层统计。写完的题可以先丢给 Kimi 或豆包试答一轮，把一眼就答对的题送走，剩下的才有校准价值。专家写题常见的问题是偏好自家口吻，可以两人背靠背写同一场景，再合并去重，减少个人偏差。

第三条路：改写现成题集并去重

公开题集起点高，但直接用会被反复刷熟。可行做法是改写：换背景、换数字、换提问顺序，保持考点不变，再与原题和公开语料做相似度检查，剔除可能已泄漏的部分。改写后的题仍要小规模试跑，确认难度分布合理再正式入库。改写有个诀窍：先改表面再改结构，换掉专名与数字之后，再调整句子顺序与提问角度，两步都做才算改透。

入库之后的三道关

题目攒起来只是开始，还要过三道关：一是查重与泄漏扫描，二是试跑与难度校准，把人人做对或人人做错的题淘汰或降权，三是定期换血，老题退役、新题补充。题目质量怎么继续验证，往下接的是自建评测的信度是怎么验的；覆盖面为什么要刻意留一块长尾，可看长尾题目为什么重要。每道题入库时写上来源、日期、负责人三个字段，题库才管得起来。

题目来源自查清单

• 真实记录已脱敏并抽样复核
• 手写题附带评分要点与难度标注
• 改写题做过相似度与泄漏扫描
• 题库有退役机制，按周期补充新题

记一个标准：题目好不好，看它能不能把真实差异测出来——测不出差异的题，再多也只是数量。

聊聊自建题目的常见疑问

• 题目规模多大才够用？：先保证每个关键场景有足够样本量，再逐步扩规模，比一开始追求数量更有用。
• 能直接用公开数据集吗？：可以当练手与对照，但正式结论要用去重改写后的私有题，否则分数容易虚高。
• 多久更新一次题库？：至少按季度轮换一部分，出现新业务场景时随时补充，避免题目与实际使用脱节。