什么是自监督学习？不靠标注怎么学

大模型是用海量文本训练出来的，而这些文本几乎都没有人工标注——没有人给互联网上的每句话标好标准答案。它怎么学的？答案是自监督学习：不用人工标答案，从数据本身构造出问题和答案，让模型自己出题考自己。这个机制让「用整个互联网当训练材料」成为可能，是预训练能跑起来的核心，也是大模型时代的关键技术基础。

从数据本身造题：常见做法

造题方式有几种。预测下一个词：给一句话的前半段，让它猜后面是什么，答案就在原文里；填空：把句子里某个词挖掉，让它填回来；图文配对：判断一段文字和一张图是否成对，多模态模型的图文对数据就是这样组织的，一条样本就是一张图加一段说明文字。共同点是答案天然存在于数据中，一个标注员都不需要。互联网上的文本每天以 TB 计地新增，只要造题机制成立，训练材料近乎无限。

用一个小例子感受造题的过程。原文是「今天下雨，路上的人大多撑着伞」，把后半段遮住，让模型预测接下来会出现什么。要猜准「撑着伞」这几个字，它得知道下雨和伞的常识关系、中文的表达习惯，还得记得前半句刚说过什么。海量的句子喂下去，模型就在一次次猜词里把语法、常识、逻辑一起学进来了。

标注成本为什么是死结

反过来看就知道它为什么关键。如果每条训练数据都要人工标注，成本根本无法承受：标注一条样本哪怕只要几秒，乘上几十亿条的量级，需要的标注员和预算就是天文数字。自监督把「标注」这一环从流程里去掉了，用海量数据训练才变得可行——这是大模型能出现的前提之一。

训练链路中的位置

自监督只是链路的头一站，并非全部。通常的顺序是：先用自监督预训练打底，让模型学到语法、常识和世界知识；再用监督微调，用人工标注的问答对教它怎么对话；最后用人类反馈做对齐训练，调整它的表达方式。自监督承担的算力和数据都远超后面两步，是整条链路里分量重的一环。

看这张表能理解一个常被混淆的点：模型参数量和数据规模是预训练阶段的核心变量，7B 与 70B 的差别主要就体现在这个阶段的投入上，原理见什么是模型参数量。

它学到了什么、学不到什么

预测下一个词看似简单，要猜准却必须理解很多东西：语法结构、常识关系、上下文逻辑，甚至一定的世界知识。这些能力是模型在完成任务的过程中被迫「长」出来的，没有人显式教过——这也是它和监督学习在结果上的一个有趣差异：监督学习教什么就会什么，自监督学到的是完成猜词任务顺带形成的底层能力。

局限同样清楚。学到什么取决于数据里有什么：互联网语料里的偏见会被原样带进模型；任务目标是「猜」，学到的东西未必是人类真正关心的；数据规模不够时效果明显打折，这条路对数据量极其依赖。另外，预训练完成的模型还要经过量化、部署等环节才能到用户手上，中间每一环都有取舍，量化的原理见什么是模型量化。

和两个容易混淆的概念

无监督学习：自监督常被归入广义的无监督，但严格说它有「答案」，只是答案来自数据本身，理解时记住「自己造题」就够了。迁移学习：预训练加微调是迁移学习的一种形态，自监督提供的正是那个可迁移的底子。理解了预训练的成本结构，也能看懂免费版和付费版大模型的差别从哪来——推理额度的背后是这一整套训练投入，见免费版和付费版大模型差在哪。而开源权重模型相当于把预训练成果直接开放出来，任何人可以在此基础上继续训练，见什么是开源权重模型。

自监督学习速查

• 不用人工标注，题目和答案都从数据里造
• 核心任务：预测下一个词
• 链路三步：预训练、监督微调、对齐训练，预训练分量重
• 数据里有什么它就学什么，偏见会带进来
• 数据量不够，这条路就走不通