同一个 AI 产品里，有的功能秒回还免费，有的要排队甚至单独付费，差别往往在于背后跑的模型——前者很多是蒸馏出来的小模型。模型蒸馏（Knowledge Distillation）解决的就是这个问题：大模型能力强，但推理慢、成本高；把它的能力转移到一个参数量小得多的学生模型上，让小模型在目标任务上接近大模型的表现，同时保住速度和成本优势。
机制：老师输出概率分布，学生照着学
把大模型叫老师，小模型叫学生。训练时，老师对每个输入给出的并非一个标准答案，而是一个概率分布：它认为答案 A 有八成可能、B 有一成半、C 只有半成。学生的训练目标是让自己的输出分布尽量贴近老师的分布，两个分布的差异常用 KL 散度来度量，训练过程就是在不断缩小这个差距。为了让分布里的细节更容易被学到，通常还会先用温度参数把分布调得更平滑，再让学生拟合。整个过程串起来：进来的是训练数据和一个能力强的老师模型；发生的是学生模型的输出分布向老师分布持续对齐；出去的是一个参数量小得多、行为却接近老师的学生模型。
学分布比学答案多给了什么
这是蒸馏最关键的设计。如果只让学生学「哪个答案是正确的」，学生拿到的是非对即错的硬标签；而老师的分布里藏着更丰富的信息——B 和正确答案 A 很接近，D 则完全不对，这种相对关系是老师泛化判断的浓缩。学生照着分布学，等于在模仿老师的判断结构，而不只是背结论。这就是小模型能「学到本事」的机制来源。
工业界常用的三条路线
第一条是分布蒸馏：直接对齐输出概率，是最经典的做法。第二条是数据蒸馏：用老师模型生成大量问答对或标注数据，再拿这些数据正常训练学生——本质上是把老师的能力固化进数据，工业界用得非常多。第三条是特征蒸馏：除了对齐输出，还对齐中间层的表示，让学生学到更内部的特征。不同产品采用的路线和混合比例各不相同，公开资料通常不会说明细节。
蒸馏出来的模型长什么样
四个特征：更小，参数量通常大幅减少，具体规模以官方发布为准；更快，推理延迟低，能扛住高并发；更便宜，部署和调用成本显著下降；在目标任务上接近老师。实际部署中，蒸馏常和量化叠加使用：先用蒸馏把模型变小，再用量化把数值精度压低，两步的原理不同，效果可以叠加。参数量怎么影响模型表现，7B 和 70B 差在哪里有直观对比；量化是另一条独立的瘦身路线，模型量化为什么能瘦身讲得更细；同一个底座怎么长出一堆「行业版」，模型家族一文梳理过谱系。
| 部署场景 | 倾向的选择 | 判断标准 |
|---|---|---|
| 高并发在线功能 | 蒸馏小模型 | 小模型在该任务上的质量是否达标 |
| 复杂推理、长文档理解 | 大模型直出 | 出错的代价是否远高于延迟的代价 |
| 端侧或本地运行 | 蒸馏加量化的小模型 | 设备资源与可接受的精度损失 |
| 离线批量处理 | 按预算分层调用 | 时效要求与调用预算的平衡 |
模型蒸馏速查
- 老师输出概率分布，学生学分布而非只学答案
- 温度参数把分布调平滑，细节更容易学
- 三条路线：分布对齐、数据蒸馏、特征对齐
- 天花板由老师决定，缺点也会一起继承
- 蒸馏可叠加量化，原理不同、效果叠加
它学不到什么
第一层边界是天花板：学生的学习信号全部来自老师，在老师擅长的任务上，学生很难超过老师；想再往上，要靠后续用别的数据或强化学习继续训练，那已经是另一段路。第二层是缺点继承：老师的偏见、幻觉倾向、知识盲区，会原样传给学生，学生不会自动过滤。第三层是通用能力缩水：学生在目标任务上接近老师，不代表其他能力同步保留，跨任务的表现要单独测。第四层是数据依赖：训练样本覆盖不到的输入类型，学生的表现没有保障，这一点和所有训练方法一样。
关于蒸馏的三个疑问
- 蒸馏和量化都算「瘦身」，本质区别在哪？：量化压缩的是已有模型的数值精度，模型结构不变；蒸馏换的是模型本身，学生是重新训练出来的。一个是压缩存储，一个是能力转移。
- 学生有可能反过来超过老师吗？：在老师擅长的任务上基本不会，因为学习信号全来自老师。但学生可以赢在约束条件下——延迟、成本、端侧部署这些维度上，它比老师实用得多。
- 怎么判断一个功能背后是不是蒸馏模型？：用户通常无法直接得知。延迟和定价分层可以提供线索，但准确结论以厂商说明为准，不必过度猜测。
理解了蒸馏，再看到「又快又免费」的 AI 功能时就能明白：同一个产品里跑的可能根本不是同一个模型，分层调用是成本与体验之间常见的折中做法。
