什么是 AI 反馈？让模型帮着训练模型

作业发下来，学长在旁边批改——他没教你写，却能指出你错在哪、好在哪。AI 反馈做的就是这件事：让一个模型去评判另一个模型的回答，用机器评判替代部分人工标注，把人类从逐条打分的苦活里解放出来。海螺AI、豆包的对齐实验里都出现过这类思路，本文用学长批改作业的场景，把它的门道和边界讲清。

让模型替人打分：评委从哪里来

最直接的做法是拿现成的模型当评委：找一个能力强的模型，照着人类写好的评判标准给回答打分，不需要人再逐条看。再把打分结果喂给训练，模型就在被学长批改中进步。标准是人事先写好的——什么算答非所问、什么算啰嗦——模型只是照章执行。

这位学长还有个优势：分工可以混搭。规则明确的部分——格式、长度、禁用词——交给程序自动判；判断微妙的部分交给模型评委；最难的边界案例留给人。三层筛下来，人力只用在刀刃上。

三层分工各管一段，人力只落在最后一道。

另一种做法是模型两两比较：两个回答摆在一起，让评委模型判哪个好，再把排序喂训练。什么是 DPO？不用奖励模型的偏好训练那篇讲的直接路线，吃的就是这类排序。人类在这里退居二线：写标准、抽查结果，不再当人肉打分机。什么是奖励模型？给 AI 回答打分的裁判那篇讲的裁判，也可以直接由模型客串。

学长批改作业：快，但会看走眼

学长批改的吸引力在快：一堆作业眨眼改完，还能顺手写评语。模型评委同样又快又不知疲倦，标准还稳定——同一条回答，早上晚上一个分。对要梳理几十万条回答的团队，这是人力换不起的效率。

更要警惕的是标准写得含糊：「有用」和「啰嗦」写不清楚，学长只能凭感觉判，判出来的分自相矛盾，训练越久偏得越远。写标准的功夫，占这条路线一半以上的成败。

但学长的知识也有边界：他没学过的章节，批改只能照答案机械核对，错杀漏杀难免。模型评委也一样，遇到超出自身见识的回答，评判就虚。什么是安全微调？出厂前补一堂规矩课那类涉红线的场景，最忌把评判权整个交出去。

AI反馈速查表

• 角色：模型当评委，给模型的回答打分
• 标准来源：人类事先写好评判规则
• 收益：标注效率数量级提升
• 边界：评委自身错，评判就跟着错

类比失效的地方：学长自己也会错

学长类比有一处对不上：学长有考试牵制作弊，模型评委没有；它按标准机械执行，标准没覆盖的它就抓瞎，还可能把漂亮话判成高分。最隐蔽的风险是同源错误：如果评委和被评判的模型底子相同，它们会犯一样的错还互相点赞——学生抄学生的作业，谁也不知道谁错。

还有一处：作业错一道是一道，回答偏差一片是一片。所以模型评出来的结果，隔一段时间就要抽人工复核。什么是训练日志？看懂训练过程的第一手记录那篇讲的记录，在这里承担存档备查的活。

关于AI反馈的三个常问问题

• AI 反馈等于不需要人了吗？：不等于。人要写标准、抽检结果、处理边界案例，只是从逐条打分退到规则制定和抽查。
• 它和奖励模型冲突吗？：不冲突。传统路线里裁判是人训出来的，AI 反馈让模型直接客串评委，分工可以混搭。
• 怎么防同源错误？：评委模型与被训模型尽量不同源，再加人工抽检复核，双保险。

让模型给模型打分，省的是人力，费的是监督。标准写细、抽检做勤，这条路能把标注成本砍下来一大截；标准糊涂、放任自评，两头模型一起跑偏，连错在哪都查不出来。把这条路线当成先用机器筛一遍、再靠人兜底的组合来用——机器提效，人管方向，谁也别替代谁。