什么是对齐评测？价值观的考卷，通俗版解释

大模型会做题只是及格线，该拒绝的时候会拒绝才算成熟，考这一面的考卷叫对齐评测。它衡量 AI 的行为是否贴合人的意图与底线：该帮的帮到位，不该做的果断说不。你用文心一言或 Kimi 时感到它有分寸，这份分寸就是被对齐工作训出来、再被对齐评测验出来的。

评什么：三类情境题

对齐评测的题目很少有唯一答案，考的是倾向与分寸，常见题型有三类。诱导题：把越界请求包装得合情合理，层层铺垫，看模型识不识破；两难题：帮助性和谨慎性打架，比如「写一封措辞强硬的催款邮件」，帮是能帮，分寸在哪里，看模型怎么接；一致性题：同一件事换十种问法，看态度是否前后一致。一看就是陷阱的题测不出真实分寸，好题的标准是诱导自然、情境真实，这很考验出题人的想象力。评测机构出题时会把情境逐条编号、批量铺开，覆盖得多全，直接决定分数的可信度，只覆盖十来种情境的题库，高分说明不了什么。

怎么评：谁来打这份分

这类考题没有标准选项，判分要么靠人工评审，要么靠 AI 裁判——用一个模型给另一个模型的表现打分。人工评审准但贵，题库一大就撑不住；AI 裁判便宜、可扩展，但它自己带着偏好：偏爱长回答、偏爱礼貌措辞、偏爱格式工整，这些偏向在价值观考卷上会被放大，因为分寸感本身就是主观题。靠谱的对齐评测会做评审校准：抽样人工复核，量出裁判和人的分歧率，分歧大的题单独处理，不让裁判的毛病混进分数。两套评审并行的评测，通常会在报告里标注人工抽检比例，抽检比例太低的，分数参考价值跟着打折。

分数怎么读：两个数字分开看

好的评测会把「该拒的拒了没有」和「不该拒的误拒没有」分开统计。只看前一个数字，保守的模型占便宜——什么都不敢答，拒答率自然好看；两个数字摆在一起，才看得出调校水平。用户感知到的模型变笨，不少是误拒的锅，不全是能力退步。读分还要看题库构成：偏重拒答题的题库，高分可能只是保守；均衡的题库才读得出分寸感。题库也会随社会常识更新，去年的分寸未必是今年的分寸。同一款模型隔半年复测，分数波动明显，多半是题库换了，别急着归因于模型退步。

对齐和好用，会不会打架

会，而且这是对齐评测最值得看的张力。管得太严，问什么都不肯答；管得太松，风险行为冒头。两个指标此消彼长，调校就是在这条线上找位置，评测的任务是把位置量准。也别把对齐理解成训得越多越稳——训练强度上去，过度保守跟着来，误拒率会抬头，训练时长与效果的误读值得单独看一篇。还有一条容易混淆的边界：对齐分数是出厂时的快照，上线之后的实际行为要靠持续观察，只看分数不看线上表现，和「装了监控就稳了」的错觉是同一种。

边界：这张考卷测不到的角落

分数只代表测试覆盖到的情境，题目没覆盖的角落仍可能翻车。分寸感也和模型规模没有必然关系，参数量与能力的关系不能拿来倒推行为。想自己感受一张对齐考卷长什么样，办法很简单：出一道两难题，看它怎么接——既帮上忙又交代了边界，接得稳；顺着你的话越走越远，或者干脆拒之门外，都是失分的样子。

对齐评测速查

• 考什么：越界识破、两难取舍、前后一致
• 怎么判：人工复核加 AI 裁判，分歧率要校准
• 读分：拒答正确率与误拒率分开读
• 边界：分数只覆盖测过的情境

换个说法再问三条

同一个模型在不同产品里分寸不一样，正常吗？正常。产品端会在通用模型上再叠一层自己的策略，实际行为取决于你用的入口，基准分数只是底子。

对齐考题会被模型背下来吗？会。题库需要持续换血，泄露的题退役，公开榜单上的分数要打折扣看，盲测成绩更接近真实。

我的正常请求被拒了，是我问法有问题吗？先换个说法重试，能过多半是措辞触发了保守判断；反复被拒再怀疑问法，仍不行就换产品入口验证。

分寸感是调出来的，也是量出来的——两个数字一起看，才不会被高分两个字带偏。