AI 批改上线前，最该问的问题不是「准不准」，而是「稳不稳」：同一份答卷反复批改，分数会不会飘；换成另一个老师来看，分差有多大。这两个问题答不上来，分数就没法用于任何正式场合。
一致性不等于正确性。一份卷子每次都给 60 分，很稳定，但如果标准答案该给 80 分，这个稳定毫无价值。所以验证要两条腿走：先看稳定，再对标准。
一致性测的是稳定还是正确
稳定性指同一输入多次运行的结果是否一致，包括同一模型重复调用、不同批次调用、以及模型版本升级前后的对比。正确性指结果与人工评判的吻合程度。
两者要分开测。稳定性差，说明系统本身有随机性，先把温度参数、提示词、评分细则固定住；正确性差，说明标准或模型理解有偏差，要去改评分规则。
同一份卷子多跑几次
做法很朴素：抽一百份覆盖不同分段的答卷，每份跑五次，看五次结果的极差。主观题极差超过满分的百分之五，就说明这份卷子的评分不稳。
还要看波动是否集中在某类题。如果只有开放题在飘，多半是评分标准写得太虚；如果所有题都飘，问题在调用参数或上下文长度。分类型统计，才能定位到原因。
和人工的分差怎么算
不看平均值，看分布。把每份卷子的机器分与人工分之差画成分布图，看偏差是否集中在某个方向：系统性地高五分，说明标准偏松；忽高忽低，说明不稳定。
常用口径有三个：平均分差、相差超过一个档次的样本占比、以及排序相关性。前两个看分值差距，第三个看相对顺序对不对——在很多场景里，排序比分值本身更重要。
| 口径 | 衡量什么 | 什么结果说明有问题 |
|---|---|---|
| 平均分差 | 机器分与人工分的整体偏移 | 系统性高五分，说明标准偏松 |
| 超一档占比 | 分差跨过一个档次的样本比例 | 比例偏高，说明分档写得不够清 |
| 排序相关性 | 分数高低的相对顺序是否对得上 | 相关性低，说明好卷差卷被颠倒 |
评分标准要写到可判断
一致性差的根子常在标准。写「论述充分给满分」，人和机器都没法执行；写「提到三点且每点有例子，得满分；缺例子每点扣一分」，就可判断了。
标准还要给边界样例。每个档次配两三个真实答案作参照，机器和人对着同一批样例校准，分歧会明显减少。讯飞星火、文心一言这类助手可以用来把教研组的口头标准整理成条目，但条目要经老师确认。
标准定完还要试跑。找几份已知分数的卷子喂进去，看结果是否落在预期档位，偏差大的先改标准，别急着调模型参数。
分歧样本要回流
每次比对都会产生分歧样本，这些样本是最有价值的资产。按题型归类，看哪些类型的分歧最多，优先补样例、改标准。
回流要有节奏，比如每周一次，固定由学科负责人过一遍。没有这个环节，同一个错误会重复出现一整学期，而没人知道。
回流不只是改模型，也包括改提示词和改标准。三类改动分别记录，过一段时间回看，能看出问题主要出在哪一层，避免所有锅都让模型背。
一致性验收清单
- 稳定性：同一卷五次批改，极差是否在容忍内
- 正确性：与人工分差分布是否居中、无明显偏向
- 排序性：分数高低顺序与人工是否基本一致
- 标准：每条细则能否被两个人独立执行
- 回流：分歧样本是否每周有人处理
五项里，第四项是根，标准写不清，前面几项怎么调都稳不住。
相关机制：知识点图谱怎么搭能为批改提供知识点标签；备课素材的排序与评分共用一套标准体系；风险点库的建法同样是先把标准写成条目；政务问答的口径管理也强调标准统一。
关于批改一致性的三个常问问题
- 一致性达到多少才算能用？：没有统一数字。用于日常练习可以宽一些，用于正式评定要严，关键看能否经得起复核。
- 换模型版本后要重测吗？：必须。版本变化会改变评分倾向，重测成本远低于事后返工。
- 主观题干脆不批行不行？：可以只批客观部分，但那样产品价值会大打折扣，建议先把主观题的标准写细再上。
