评 AI 模型的能力,题目本身就分两种性格。结论先行:客观题适合规模化横评与回归验证,主观题适合测写作、审美这类弹性能力,两者必须分开统计、分开设权重,混在一起算总分既不公平也难归因。客观题和主观题评测的差别,从判分方式、设计要点、统计口径三方面讲。
判分方式:一把尺与一套细则
客观题有唯一正确答案,规则判分即可,命中要点或通过用例就得分,可以全自动跑。主观题的「好」没有唯一解,要靠评分细则约束:把维度拆成贴题、准确、结构、语言四项,每项分级描述,让不同评审者打出接近的分;机判主观题可以交给智谱清言或文心一言,模板固定后批量跑。细则写到什么程度,直接决定主观分的可信度。
设计要点:各自的坑
客观题的坑在泄漏与死记:题目公开太久就失去区分度,见固定集和动态集有什么区别。主观题的坑在偏好漂移:评审者疲劳后打分会松,机判模型则可能偏爱长答案,见人评和机评有什么区别。两边都要定期校准,客观题轮换、主观题复评;在线场景里用户还会追问与改写,静态题集测不到,见离线评测和在线实验有什么区别。
统计与权重:分开算再合成
两类题各自统计、各自报告,再按用途定权重合成总分:比综合能力就提高客观题占比,比内容生产就加大主观题权重。主观题样本少、波动大,报告里标注样本量比只给一个分数诚实。公开榜单怎么搭配两类题,见公开榜单和内部评测有什么区别;分别测完再按用途组合,思路见单模型评测和组合评测有什么区别。
主观题的评分细则模板
主观题评测想做得住,细则要落成模板:先列维度,比如切题、结构、论据、语言四项;每项给三到五档描述;再配一到两条范例答案锚定档位。评审按维度分别打分,最后按权重合成,而不是笼统给一个总分。这样做的好处是分歧可定位:两个人分数不同,能看出是切的题理解不同还是语言标准不同,讨论有落点。模板还要随题型调整,报告类与创意类的维度就不一样,一套模板套所有题型,测出来的东西会失真。每轮评测结束回收一次细则,把争议条目补进描述,模板就跟着经验一起长。
| 模板要素 | 怎么写 | 解决什么 |
|---|---|---|
| 维度 | 切题、结构、论据、语言四项分开 | 打分有落点 |
| 档位 | 每项给三到五档描述 | 不同评审打出接近的分 |
| 范例 | 一到两条答案锚定档位 | 档位边界不含糊 |
| 权重 | 按用途合成,不笼统给一个总分 | 分歧可定位到具体维度 |
主观题也不必追求完全一致,评审之间保留一点差异是正常的,关键是差异可解释。把每轮的分歧样本留档,下一轮开评前花十分钟过一遍,评分稳定性会一轮比一轮好。
权重怎么分也写进文档,改权重就等于改总分口径,必须通知所有使用方。
两类题型速查表
- 客观题:答案唯一,规则判分,可全自动
- 主观题:细则约束,分级打分,需复评
- 分开统计,按用途定权重
- 主观分务必标注样本量
带一条实操:改版题库时先动主观题的细则再动题目,细则稳定后主观分才有跨期可比性;客观分高也不等于用着顺手,见跑分和体验有什么区别。
客观题和主观题快问快答三则
- 主观题样本量最少要多少?:没有硬线,但至少要能让不同评审者算出一致率,样本太少连校准都做不了。
- 客观题会过时吗?:会,被公开讨论或进入训练语料后区分度下降,要定期轮换补新。
- 两类分数能直接相加吗?:先各自归一化再按用途加权,直接相加等于宣布两类题一样重要,多数场景不成立。


