选择题是怎么自动判分的？从原理到落地

选择题好出也好改，但在 AI 大模型评测里，「改卷」远不是拿标准答案对一下那么简单：模型会输出一大段自由文本，判分脚本得先从里面把那个选项可靠地抠出来，再说对错。这道工序的质量，直接决定榜单数字可不可信。

从输出提取到对错判定

整条链路分三步。第一步提取：在模型回答里定位最终选项，优先抓「答案是 C」这类明确句式，其次看回答末尾的结构化标记，再看全文。第二步归一：把抓到的内容转成统一格式，全角字母转半角、去掉标点空格、大小写统一。第三步判定：与标准答案比对，输出对错和得分。进来的是原始回答文本，中间经过提取与清洗，出去的是一条带对错标记的判分记录，全程不需要人碰。

答案提取失败的常见情形

四类典型故障。模型给多个答案：「应该是 B，不过 C 也说得通」，脚本不知采信哪个。模型拒绝选择：反复解释两个选项都好，就是不表态。模型先选后改：「我选 A——不对，再想想，选 B」，位置靠前的答案反而错。输出绕开选项：直接写答案内容而不写字母，格式完全对不上。对付这些情形，通用的做法是强制输出格式，比如在提示词里要求「最后一行仅输出字母」，讯飞星火和 DeepSeek 的公开评测实践里都有类似的格式约束设计。极端情况下留人工复核队列，机器拿不准的转给人看。

四类故障长什么样、脚本会怎么栽，对照着看。

瞎猜对分数的影响

四选一的题，纯瞎猜的正确率是四分之一，这意味着低水平模型也能白捡不少分。常见对策有三：一是题库加大题量摊薄运气；二是扣分制，答错倒扣，压低乱猜的好处；三是增加选项数或改用多选，把猜中概率压下去。判分报告若采用扣分制，必须把规则写在明处，否则分数没法横向比较。顺便提醒，无论哪种规则，都要保证跑多少遍规则不变，这正是可复现的基本要求。

选择题判分速查表

• 提取优先级：明确句式、末尾标记、全文兜底
• 强制格式：最后一行只写选项字母
• 防瞎猜：大题量、扣分制或多选制三选一
• 失败队列：机器拿不准的转人工复核

判分脚本怎么保持稳定

三条纪律。版本固定：脚本改动要留版本号，新旧版本的判分结果不可混用，否则评测方差里会混入人为噪声。抽样校验：每轮随机抽几百条判分记录人工核对，提取环节的静默错误最容易在这里现形。公开材料：把脚本和判定规则随报告一起发布，接受外部检查，质量会反过来倒逼提升。选择题判分只是判分体系的一角，同一张卷子里的主观部分靠开放题参考答案和评分细则支撑，跨题型的成绩汇总与呈现，则要落到评测报告的规范上，三块拼齐，一张考卷才算真正齐整。当机器判分拿不准需要人介入时，流程组织可以参照人工盲评的排期做法。

判分稳定还有一个隐性前提：模型的输出格式不随版本漂移。有的模型升级后不再遵循「末行只写字母」的约定，一轮下来提取失败率陡增，分数暴跌并非能力退步而是格式退步。所以判分报表里要单独列出提取失败率这个指标，一旦异常升高，先查格式再谈成绩。这个小习惯能避免大量冤案，也是判分报表比单纯分数表更有价值的地方——分数只告诉你结果，失败率才告诉你过程哪里卡了壳。

关于选择题判分，问得最多的三个

• 模型不按格式回答怎么办？：提示词里强制末行只写字母，仍不配合的进人工复核队列，不要强行猜一个选项充数。
• 选项顺序会影响成绩吗？：会有影响，可对调选项位置复测，若成绩明显变化，说明模型在凭位置记忆而非推理。
• 选择题能测出真实能力吗？：能测知识辨认和快速判断，但推理深度有限，需与主观题搭配才构成完整画像。