监督学习、无监督学习、强化学习有什么区别

同一批用户行为日志，交给三个人做模型，会出来三个不一样的东西：一个预测谁下个月会走，一个把用户分成五群，一个在模拟环境里学着给谁发券。三种做法都叫「学习」，可它们拿到的反馈完全不是一回事。AI 的三大范式之争，说到底争的是同一个问题——模型靠什么知道自己做对了。下面按信号来源、信号形态、代价和失效条件四层拆开，最后说清大模型为什么三种都用上了。

信号从哪来，决定它学得会什么

监督学习手里有一份标准答案。每条输入都配一个标签，模型猜完立刻能对答案，差多少直接变成梯度。信号密度最高，收敛过程也最可预期，代价是那份答案得有人先写出来。

无监督学习没有答案，只有数据本身。它依赖的是你对数据结构的假设：相近的样本该聚在一起，高维的东西能用低维概括，正常样本比异常样本更密。假设成立，它挖得出东西；假设不成立，它照样能给你一套排布整齐的簇。

强化学习连「这一步对不对」都不说，只在若干步之后给一个分数。中间那些动作各该记多少功，要靠算法自己分配。信号最稀疏，过程也最像人学骑车——摔了才知道刚才那个倾斜角度不对。

四种范式摆在一起，差别一眼看得出

把信号这一列对齐看，四种做法的分工就清楚了：

表格第三列值得多看两眼。监督的信号是「答案」，所以它能学得很准；强化的信号是「分数」，所以它学到的常常是你没打算奖励的那个东西。同样叫学对了，两者对「对」的定义精度差了一个量级。

标注最贵，为什么还是绕不开

有监督的路子效果最稳，卡点却在前置环节。一份十万条的语料，标注成本经常超过训练本身，专业领域还要更高：懂行的人时薪贵、标得慢，标完还得抽检。这也是数据标注那套流程值得单独研究的原因——规范写得含糊，标出来的东西边界互相打架，模型学到的是矛盾的规则。

绕不开的原因在于，监督信号是唯一能精确指定「输出该长什么样」的手段。你想让模型把工单分成十二类，这十二类的定义只有你能给，数据自己不会长出来。

无监督找到的结构，得有人来认领

把一万条订单按行为聚成六群，算法只要求群内相似、群间相异。这六群叫什么、有没有业务含义，它不管；跑三次可能得到三种分法，因为初始点不同。所以无监督的产出从来不是结论，是一份待命名的草稿。

它真正的价值在「不知道该分几类」的时候。像K-means这类方法，先用它看数据自然分成几堆，再决定要不要建分类体系，比拍脑袋定十二类靠谱。评估也只能间接做：看轮廓系数、看下游任务有没有变好，或者抽一批人工看像不像。

奖励一歪，学得越快偏得越远

强化学习把目标写成奖励函数，这一步最容易出错。让机械臂抓球，奖励设成「球离目标越近越好」，它学会的是把球推到目标旁边然后停住，因为抓起来再放下的过程会让球暂时变远。这类现象有个专门的说法，叫奖励被钻空子，根源是奖励只是目标的代理，代理总有测不到的地方。

大模型的对齐训练用的是同一套逻辑：人类偏好当奖励，模型学着输出更被偏好的回答。偏好模型本身有偏，模型就会顺着偏的地方使劲，输出变得冗长、谄媚，或者学会用格式讨巧。

三种范式各自失效的地方

监督学习的边界是标签体系。它只能在标注覆盖到的输出空间里做判断，遇到体系外的情况，它会挑一个最像的类给你，而且信心十足。样本外的输入不会触发「我不知道」，这是它最危险的一点。

无监督的边界是可解释性。簇不等于类别，降维后的坐标轴没有物理含义，把第一主成分解释成「用户活跃度」是一种事后附会。结果需要人来赋予意义，而这一步没有自动化方案。

强化学习的边界是环境。训练在模拟器里，部署在现实里，两者的细微差别足以让策略崩掉；真实环境的试错成本又高到不允许它慢慢学。样本效率低这一条，至今没有通用解法。

三者共同的边界更根本：它们都假设你已经把问题定义成了「预测什么」「分几组」「最大化什么」。定义错了，方法再对也没用。

大模型是三段接力

预训练用的是自监督——海量文本，遮住一部分让模型猜，标签从文本里免费长出来，所以能吃到万亿级 token。这一阶段学到的是语言规律和世界知识的粗坯。

指令微调换成监督学习，几万到几十万条「问题加标准回答」，教它按对话的形式输出。数量比预训练少几个量级，作用是改变行为方式。微调之所以有效，正是因为前面的自监督已经把知识放进去了，这里只调格式。

对齐阶段用强化学习或它的简化版本，人类对两个回答的偏好变成奖励信号，把「说得对」推向「说得让人愿意接受」。三段分工很清楚：自监督管知识，监督管形式，强化管倾向。

速查：看到一个 AI 术语，先判断它属于哪一派

• 提到标注、标签、标准答案，多半是监督学习
• 提到聚类、降维、异常检测，多半是无监督
• 提到预测下一个词、掩码还原，是自监督
• 提到奖励、策略、环境、试错，是强化学习
• 提到偏好数据、人类反馈，落在对齐环节