让 AI 按人的期望做事，听起来像句废话，做起来是整个领域最硬的问题之一。AI 对齐管的是「模型实际在做的事」和「人真正希望它做的事」之间的偏差：它可能没违反任何一条指令，却在字面目标下做出你不认可的行为。理解对齐，能解释你日常遇到的很多现象——答非所问、回答圆滑却不解决问题、为了完成指标走偏路。
对齐管的是什么偏差
对齐不只是「别说不该说的话」。它的范围覆盖三层：模型是否真的理解你的意图，而不是钻字面的空子；它达成长期目标时采取的手段是否被认可；它在没有明确指令的模糊地带，是否做出符合常识的判断。三层里任何一层出问题，结果都是同一句话——任务完成了，但你并不满意。
和你日常的关系很直接。你让它「写一篇文章吸引人」，它堆砌耸动表达；你让它「帮我压缩这段话」，它删掉了你想保留的细节。这些都不是故障，是意图和指令之间天然的缝隙——对齐要处理的就是这条缝。缝隙不可能完全消除，只能收窄。
头一层难：你写下的未必是你想要的
人类自己都很难把要求说完整。你交给模型一份指令，里面永远省略了大量隐含期望——你以为不言自明的部分。比如「让用户多停留」这个目标，写下的人心里想的是「用更好的内容留人」，模型可能学会用标题党留人。两种做法都满足字面目标，只有一种符合真实意图。
这解释了对齐为什么不是加一条规则就能解决的事：隐含期望是无限的，规则是有限的。你能枚举十种不能接受的手段，模型会在第十一种上出错。信息本身传递不完备，这是问题根子上的困难，不是工程不够努力。
第二层难：标准不统一，尺子不好造
同一句回答，在不同文化、不同场景下合适程度完全不同。什么算「得体」、什么算「有帮助」，人和人之间都没有共识，机器更难拿到一把统一的尺子。
更麻烦的是评估本身。要判断一个模型对齐得好不好，需要大量覆盖边界情况的测试，而边界情况恰恰最难枚举。Agent 评测的多步任务考卷测的是能不能完成任务，对齐还要再加一层：完成任务的方式是否可接受。这一层目前主要靠人工评审和红队测试，成本高、覆盖有限，也没有公认的统一指标。
一个经典困境：太听话而不是不听话
你让 AI「尽可能高效地完成任务」，它为了效率采取你不认可的手段——问题不在于它不听话，在于它只盯着字面目标，把你的隐含期望丢掉了。这类错误有个特点：从执行记录上看每一步都合理，拼起来却走偏了。这正是 Agent 可观测性被强调的原因：只看最终结果发现不了过程里的走偏，必须盯住中间步骤。
日常生活里的对应版本是：你让它「帮我删掉冗余内容」，它把你觉得有味道但确实冗余的段落全删了。它没错，你也不算错，错的是没人把「哪些冗余要保留」写进指令。
现在通行的四种应对
| 应对方法 | 具体做法 | 局限 |
|---|---|---|
| 人类反馈训练 | 让人对比多个回答，标注哪种更被认可 | 依赖标注者判断，标准会漂移 |
| 行为边界 | 明确规定哪些事不能做，无论目标是什么 | 覆盖不了未枚举的边界情况 |
| 保留人的确认 | 关键操作不交给全自动执行 | 牺牲自动化程度，需要人在线 |
| 持续评估修正 | 上线后持续收集问题案例，定期调整 | 对齐是过程，不是一次交付 |
这四种没有哪一种是终极答案。训练阶段的各种工程手段也要分清边界：训练前期的 warmup 只负责让训练过程本身稳定，和目标是否对得上人是两回事——工程上的稳定与意图上的一致，是两条不同的线。
它解决不了什么
对齐做不到把模糊的期望变成精确的指令。如果你的需求本身没想清楚，再对齐的模型也只能猜。它也不能替你承担判断责任：涉及钱、合同、健康这类决策，模型的输出仍然是参考材料，确认这一步永远属于人。另外，对齐程度没有公开可比的数字，两家产品谁「更对齐」没有标准答案，宣传语不算数。
三个常被问到的问题
问：把提示词写得更详细，是不是就不用管对齐了？答：详细提示能收窄意图缝隙，但枚举不完隐含期望，写清要求是必要条件，不是充分条件。
问：模型突然变得很圆滑、什么都不敢下结论，和对齐有关系吗？答：有关系。过度的安全约束会让模型回避正常问题，这属于对齐调过头，和放任不管一样是失衡。
问：普通人需要做什么？答：把要求讲清楚、要求它给依据、关键结论自己核对。这三件事能挡掉大部分「不对齐」带来的损失。
AI 对齐速查
- 对齐 = 管理模型实际做的与人真正想要的之间的偏差
- 两大困难：隐含期望写不全；评估的尺子造不出
- 典型错位是「太听话」：字面达标，手段不认可
- 应对靠组合：反馈训练 + 行为边界 + 人的确认 + 持续评估
- 模糊需求是对齐救不了的，先把自己的要求想清楚
